// mondaybench · v1.14
¿Sabría un modelo
manejar tu lunes?
Cinco escenarios reconstruyen una mañana de trabajo real. Cada modelo recibe la misma bandeja de entrada, las mismas contradicciones y las mismas decisiones a medias, responde 3 veces y se puntúa con una rúbrica congelada.
// general
Clasificación general
El Monday Score es la media, a igual peso, de los cinco escenarios de trabajo real.
Todos los modelos Solo modelos de pesos abiertos
11 modelos de pesos abiertos, ordenados por Monday Score. 15 modelos ordenados por Monday Score, 4 de ellos de pesos cerrados. Overall v3.6 · suite v1.14
| # | Modelo | Monday Score | Δ líder | Peor lunes | Dispersión entre escenarios |
|---|---|---|---|---|---|
| 01 | cerrado | 98.80 | +3.73 | 96.0 | 4.0 |
| 02 | cerrado | 97.07 | +2.00 −1.73 | 90.8 | 8.8 |
| 01 03 | 95.07 | −3.73 | 92.5 | 4.5 | |
| 02 04 | 94.93 | −0.14 −3.87 | 87.3 | 11.2 | |
| 05 | cerrado | 94.90 | −0.17 −3.90 | 89.3 | 10.7 |
| 03 06 | 94.53 | −0.54 −4.27 | 90.0 | 8.3 | |
| 04 07 | 93.73 | −1.34 −5.07 | 87.7 | 9.8 | |
| 05 08 | 91.70 | −3.37 −7.10 | 86.0 | 11.3 | |
| 06 09 | 91.23 | −3.84 −7.57 | 79.7 | 16.2 | |
| 07 10 | 87.87 | −7.20 −10.93 | 80.3 | 19.2 | |
| 08 11 | 86.67 | −8.40 −12.13 | 78.5 | 16.7 | |
| 09 12 | 86.50 | −8.57 −12.30 | 71.2 | 27.3 | |
| 13 | cerrado | 86.00 | −9.07 −12.80 | 72.2 | 25.7 |
| 10 14 | 68.77 | −26.30 −30.03 | 46.0 | 36.8 | |
| 11 15 | 63.00 | −32.07 −35.80 | 35.2 | 54.5 |
Ver las notas por escenario Los cinco lunes detrás de cada media, con la celda sombreada según la nota.
Tono de celda 35.2 100.0
| Modelo | #001 | #002 | #003 | #004 | #005 | Dispersión entre escenarios |
|---|---|---|---|---|---|---|
| cerrado | 100.0 | 100.0 | 100.0 | 98.0 | 96.0 | 4.0 |
| cerrado | 98.5 | 98.0 | 98.3 | 90.8 | 99.7 | 8.8 |
| 92.5 | 94.8 | 94.5 | 96.5 | 97.0 | 4.5 | |
| 98.0 | 87.3 | 92.8 | 98.0 | 98.5 | 11.2 | |
| cerrado | 97.5 | 91.0 | 96.7 | 89.3 | 100.0 | 10.7 |
| 95.0 | 93.0 | 96.3 | 90.0 | 98.3 | 8.3 | |
| 97.5 | 87.7 | 94.8 | 91.7 | 97.0 | 9.8 | |
| 90.8 | 89.3 | 95.0 | 86.0 | 97.3 | 11.3 | |
| 90.3 | 95.2 | 95.8 | 79.7 | 95.2 | 16.2 | |
| 82.7 | 83.7 | 93.2 | 80.3 | 99.5 | 19.2 | |
| 88.2 | 81.2 | 90.3 | 78.5 | 95.2 | 16.7 | |
| 84.3 | 91.2 | 87.3 | 71.2 | 98.5 | 27.3 | |
| cerrado | 95.3 | 80.0 | 84.7 | 72.2 | 97.8 | 25.7 |
| 82.8 | 70.2 | 65.5 | 46.0 | 79.3 | 36.8 | |
| 70.7 | 54.2 | 65.3 | 35.2 | 89.7 | 54.5 |
Detalle técnico Estabilidad entre runs: cuánto se separan los runs de un mismo escenario.
Estabilidad entre runs
Cada modelo responde tres veces a cada escenario. El rango de runs es la distancia entre la mejor y la peor de esas tres notas. El rango medio la promedia en los cinco escenarios y el peor rango marca el escenario donde fue más amplia. Cuanto más bajos, más probable es que obtengas la misma respuesta dos veces.
| Modelo | Rango medio | Peor rango |
|---|---|---|
| cerrado | 0.3 | 1.5 |
| cerrado | 3.7 | 9.5 |
| cerrado | 4.2 | 8.5 |
| 4.3 | 10.5 | |
| cerrado | 5.3 | 9.0 |
| 5.8 | 11.0 | |
| 6.0 | 19.0 | |
| 6.3 | 10.5 | |
| 6.4 | 11.5 | |
| 6.8 | 13.5 | |
| 7.0 | 17.0 | |
| 9.1 | 16.0 | |
| 9.9 | 19.0 | |
| 14.7 | 31.0 | |
| 16.3 | 33.0 |
// coste y eficiencia
Cinco modelos muy similares entre síCuatro modelos muy similares entre sí
La banda de la clasificación reúne cinco Monday Scores entre 93,73 y 95,07, a 1,34 puntos entre sí: menos que los 1,50 puntos que una fila se movió entre dos jueces.
La banda de la clasificación reúne cuatro Monday Scores entre 93,73 y 95,07, a 1,34 puntos entre sí: menos que los 1,50 puntos que una fila se movió entre dos jueces.
Calidad frente a coste
GPT-6 Astra tiene la nota más alta, 98,80. Por API cuesta $10 por millón de tokens de entrada y $50 por millón de salida, lo que sale a unos $136.83 por 1.000 tareas. El más barato de la banda es GLM 5.3 Flash: 94,93 a $10.71. El más caro es Claude Fable 5.1, a $456.27.
El modelo con precio de nota más alta es Qwen 3.8 Flash: 95,07 a $12.61–$15.56 por 1.000 tareas. El más barato de la banda es GLM 5.3 Flash: 94,93 a $10.71. El más caro es GLM 5.3, a $99.20.
La vista de proveedor mezcla precios de tarifa first-party con precios públicos de terceros.
De $0.44 a $456 por 1.000 tareas. Más de 1037× de diferencia de precio en el conjunto.
| Modelo | Base del precio | Confianza | ||
|---|---|---|---|---|
| GPT-6 Astra | 98.80 | ~$136.83 | Estimate | MEDIUM |
| Claude Opus 5 | 97.07 | $246.91 | First-party | HIGH |
| Qwen 3.8 Flash | 95.07 | $12.61–$15.56 | First-party | MEDIUM |
| GLM 5.3 Flash | 94.93 | $10.71 · promo $5 | First-party | HIGH |
| Claude Fable 5.1 | 94.90 | $456.27 | First-party | HIGH |
| DeepSeek V4.1 Flash | 94.53 | $10.72–$22.47 | First-party | MEDIUM |
| GLM 5.3 | 93.73 | $99.20 | First-party | HIGH |
| DeepSeek V4 Flash | 91.70 | $12.94–$25.88 | First-party | HIGH |
| DeepSeek V4.1 Flash (1017) | 91.23 | Desconocido | — | — |
| MiMo v2.6 Flash | 87.87 | Desconocido | — | — |
| MIMO v2.5 | 86.67 | $3.33 | OpenRouter | HIGH |
| GLM 5.2 | 86.50 | $39.50 | First-party | HIGH |
| Gemini 3.8 Flash (High) | 86.00 | ≥$12.06 | Estimate (minimum) | LOW |
| Qwen 3.6 | 68.77 | $7.70 | OpenRouter ref | MEDIUM |
| Gemma 4 | 63.00 | $0.44 | OpenRouter ref | MEDIUM |
Coste a escala
| Modelo | 1k | 100k | 1M |
|---|---|---|---|
| GPT-6 Astra | $137 | $13.7k | $137k |
| Qwen 3.8 Flash | $13–$16 | $1.3k–$1.6k | $12.6k–$15.6k |
| GLM 5.3 Flash | $11 | $1.1k | $10.7k |
| Claude Fable 5.1 | $456 | $45.6k | $456k |
| DeepSeek V4.1 Flash | $11–$22 | $1.1k–$2.2k | $10.7k–$22.5k |
| GLM 5.3 | $99 | $9.9k | $99.2k |
| Claude Fable 5.1 frente a GLM 5.3 Flash · 42,6× | +$446 | +$44.6k | +$446k |
| GLM 5.3 frente a GLM 5.3 Flash · 9,26× | +$88 | +$8.8k | +$88.5k |
Tareas equivalentes de MondayBench. Una extrapolación lineal de la carga observada: una petición de otro tamaño cuesta otra cantidad.
Cómo llega cada modelo a su resultado
Dos dimensiones observables. Ninguna entra en el Monday Score, y no existe una puntuación de eficiencia.
Velocidad
Dentro de la banda, Claude Fable 5.1 es el que antes da su primera respuesta (50,9 s): 1,36× más rápido que DeepSeek V4.1 Flash y 5,46× más rápido que GLM 5.3 Flash.
Dentro de la banda, DeepSeek V4.1 Flash es el que antes da su primera respuesta (69,2 s): 3,66× más rápido que GLM 5.3 y 4,02× más rápido que GLM 5.3 Flash.
Fuera del gráfico: GPT-6 Astra, DeepSeek V4.1 Flash (1017), MiMo v2.6 Flash, Gemini 3.8 Flash (High). En estas rutas no se midió el tiempo hasta la primera respuesta y no se estima.
Fuera del gráfico: DeepSeek V4.1 Flash (1017), MiMo v2.6 Flash. En estas rutas no se midió el tiempo hasta la primera respuesta y no se estima.
Concisión
Tokens de salida medios
Dentro de la banda, Claude Fable 5.1 es el que menos escribe, ~8.2k tokens de salida por tarea: DeepSeek V4.1 Flash escribe 2,14× esa cantidad y Qwen 3.8 Flash, 3,87×.
Dentro de la banda, DeepSeek V4.1 Flash es el que menos escribe, ~17.5k tokens de salida por tarea: GLM 5.3 Flash escribe 1,14× esa cantidad y Qwen 3.8 Flash, 1,81×.
Solo salida generada observable. Cada proveedor informa con un detalle distinto, así que esta cifra se muestra como referencia y no es comparable entre modelos.
Fuera de la lista: GPT-6 Astra, DeepSeek V4.1 Flash (1017), MiMo v2.6 Flash, Gemini 3.8 Flash (High). Estas rutas no informaron del recuento de tokens de salida y no se estima.
Fuera de la lista: DeepSeek V4.1 Flash (1017), MiMo v2.6 Flash. Estas rutas no informaron del recuento de tokens de salida y no se estima.
// la suite
Hemos separado un lunes cualquiera en 5 pruebas
Cómo se puede ver una mañana de lunes al llegar al trabajo.
- #001 Entender Vuelta al trabajo ¿Sabe distinguir lo que de verdad importa?
- #002 Reconciliar Objetivos móviles ¿Sabe qué ha cambiado por debajo?
- #003 Planificar Bloqueos ¿Encuentra el camino entre las dependencias?
- #004 Analizar Los números no mienten ¿Razona sobre datos de negocio sucios?
- #005 Comunicar Leer la sala ¿Le cuenta lo mismo a cuatro personas distintas?
// método
Cómo funciona MondayBench
Cada input, respuesta, veredicto y regla de puntuación es público.
Cómo está construida la suite
Cinco situaciones de un mismo lunes
Una bandeja de entrada, una agenda que ha cambiado, trabajo bloqueado por otro trabajo, un paquete de números y un mensaje que hay que redactar con cuidado. Cada escenario trae sus propias fuentes, contradicciones y decisiones a medias.
118 criterios, fijados antes de la primera run
Cada escenario define sus criterios y lo que vale cada uno antes de generar nada, y suma exactamente 100 puntos. Si algo cambia después, se abre una versión nueva de la rúbrica; la que midió una nota publicada se queda como estaba.
Congelada y versionada
Cada prompt está fijado por su sha256. Runs, veredictos y clasificaciones solo se añaden, y cada release lleva un digest de todos sus artefactos. Clona el tag, recalcula, y te debería salir el mismo.
-
Mismo input
Idéntico escenario, orden de fuentes y prompt para todos.
-
3 runs
Todo modelo oficial responde tres veces.
-
Rúbrica atómica
Criterios congelados, cada uno con sus puntos declarados.
-
Juez registrado
Claude Opus 5 etiqueta cada criterio, con su evidencia.
-
Nota determinista
Los puntos se suman sin ninguna ponderación posterior.
Ver GitHub Leer la taxonomía de capacidades
Reglas y juez Las reglas que marcan la fiabilidad de MondayBench.
- Todos los modelos reciben el mismo escenario, el mismo orden de fuentes y el mismo prompt.
- Todo modelo oficial se ejecuta tres veces.
- La nota de un modelo en un escenario es la media de sus tres runs oficiales; su Monday Score es la media, con el mismo peso, de sus cinco notas de escenario.
- La velocidad y el coste se informan aparte y nunca afectan a la nota de calidad.
- Cada input, respuesta en bruto, veredicto y regla de puntuación es público.
Sobre el juez
El juez es Claude Opus 5. Lee cada respuesta contra la rúbrica en una sesión que queda registrada, fuera de la API. Cada etiqueta se publica con la evidencia que la justifica, así que cualquier nota se puede revisar línea a línea. Lo que no se puede hacer es regenerar las etiquetas desde cero con un comando. Además, el mismo equipo que construyó el harness generó las etiquetas, y eso puede introducir sesgo. Por eso publicamos el rastro completo: para que cualquiera pueda comprobarlo.
// huellas de modelo
Dos modelos, dónde se diferencian
Los mismos criterios de la clasificación, reagrupados por lo que miden. Se muestran las 6 capacidades con mayor diferencia en el campo, de entre las que miden al menos 3 criterios: 176 de 500 puntos de rúbrica.
Qwen 3.8 Flash
GLM 5.3 Flash
- Razonamiento temporal 3 crit · 14 pts diferencia 14
- Razonamiento de dependencias 5 crit · 25 pts diferencia 9
- Sustitución de fuentes 6 crit · 27 pts diferencia 7
- Disciplina causal 8 crit · 23 pts diferencia 6
- Razonamiento cuantitativo 16 crit · 66 pts diferencia 5
- Criterio de negocio 6 crit · 21 pts diferencia 0
Léelo por filas: dos modelos son comparables en una capacidad, mientras que dos capacidades de un mismo modelo no lo son. El peso en puntos es el que las rúbricas dieron a cada capacidad y no dice nada de su importancia.
// fíate del resultado
Hecho para ser auditado
Aquí, auditable significa un conjunto de cosas hechas antes de que existieran los números, y cada una se puede comprobar desde fuera.
-
Nada se descarta por puntuar mal
Todo run oficial se puntúa y se publica, también los malos. No hay best-of-N ni reintento tras un resultado flojo, así que los 3 runs detrás de una nota son los 3 runs que ocurrieron.
-
La rúbrica se congela antes de ejecutar nada
Los criterios y sus puntos se fijan y se versionan antes del primer run. Un cambio posterior abre una versión nueva de la rúbrica y deja intacta aquella con la que se midió una nota ya publicada.
-
Cada veredicto viaja con su evidencia
El juez etiqueta un criterio atómico a la vez, y cada etiqueta lleva el fragmento de la respuesta del propio modelo en el que se apoya. Un desacuerdo se puede llevar hasta la frase concreta de la que depende.
-
Todos los modelos reciben el mismo input
Mismo escenario, mismo orden de fuentes, mismo prompt. Nada se ajusta por modelo, y ningún modelo ve un marcador acumulado mientras responde.
-
La release va hasheada y se comprueba desde un clon limpio
Cada artefacto lleva su hash y la versión lleva un digest sobre todos ellos. Clona el tag, recalcula, y o sale el mismo digest o has encontrado algo.
- Verificado desde clon limpio
- Release byte a byte
Detalle técnico del release El digest de la suite, qué cubre y qué añadió esta release.
Verificado desde un clon limpio del tag: los cinco manifiestos de congelación limpios y todos los digests de grupo coincidiendo. El digest de abajo es la versión entera en sesenta y cuatro caracteres.
Digest de la suite
f92a845f4ba0bac7ad97ea693d140618e63038ab6de31be771bad54ed08a36b9 Esta afirmación cubre el rastro de evidencia, que se reproduce exacto. El etiquetado generativo no se reproduce de forma exacta, como explica la metodología.
La suite v1.14 lleva la Overall v3.6: 15 modelos oficiales, puntuados sobre los mismos cinco escenarios congelados. De la v1.6 a la v1.9 se reparó el registro de la release, se puso al día la documentación y se rejuzgó un modelo fuera de la clasificación; ninguna movió una nota publicada. La v1.10 añadió Claude Opus 5, Claude Fable 5.1 y Gemini 3.8 Flash (High) como filas oficiales, y ninguna nota existente se movió; la v1.11 puso al día los registros de coste y el manual, la v1.12 añadió costes estimados para GPT-6 Astra y Gemini 3.8 Flash (High), cuyas rutas no informan de la facturación; la v1.13 añadió DeepSeek V4.1 Flash (1017) y MiMo v2.6 Flash, generados en NaN, sin mover ninguna nota existente, y la v1.14 sus perfiles de capacidades. Todas las releases anteriores quedan archivadas y reproducibles byte a byte.
// por qué lo hemos hecho
Los benchmarks son útiles,
pero lo importante es tu carga de trabajo
Comparamos modelos abiertos en producción para que puedas distinguir lo cerca que están de los modelos cerrados. MondayBench es cómo comprobamos si de verdad sirven antes de que lleguen ahí.