// mondaybench #003 beta

El mismo lunes caótico
para 15 modelos

Seis fuentes. Seis compromisos con fecha en una semana, tres de ellos esperando a la misma migración de tres horas, y un ingeniero reclamado por dos a la vez.

Una pregunta: ¿Encuentra el camino entre las dependencias?

  • 15 modelos
  • 3 runs cada uno
  • juez Opus 5
  • congelado y auditable

// seis compromisos con fecha · una semana · 3 espera a la migración de billing

Lun Mar Mié Jue Vie Export compliance Q3 Contoso Julia Mar 16:00 SSO enterprise para Atlas Marcus Mié 17:00 Hito Q3 de billing Elena Jue 15:00 Página pública de precios Sarah Jue 17:00 Informe al consejo, ingresos Sarah Vie 10:00 Lanzamiento de onboarding Julia Vie 12:00
  • ahora · lunes 09:10
  • espera a la migración de billing
  • no le debe nada
01

El resultado

Quince modelos, 45 runs, un juez.

// resultados

La clasificación

El Monday Score mide solo calidad: cómo respondió cada modelo a «¿Encuentra el camino entre las dependencias?», criterio a criterio contra la rúbrica de este escenario. La velocidad va al lado y nunca se mezcla dentro.

Todos los modelos Solo modelos de pesos abiertos

monday-003 · 15 modelos, 3 runs cada uno
# Modelo Monday Score Rango de runs TTFA mediana Latencia total Ver detalle de
01 GPT-6 Astra cerrado
100.0
0.0 — —
02 Claude Opus 5 cerrado
98.3
5.0 — —
03 Claude Fable 5.1 cerrado
96.7
5.0 — —
01 04 DeepSeek V4.1 Flash
96.3
2.5 81.4s 89.2s
02 05 DeepSeek V4.1 Flash (1017)
95.8
5.5 84.1s 92.7s
03 06 DeepSeek V4 Flash
95.0
0.0 136.0s 143.0s
04 07 GLM 5.3
94.8
5.0 253.3s 286.6s
05 08 Qwen 3.8 Flash
94.5
11.5 309.3s 327.2s
06 09 MiMo v2.6 Flash
93.2
6.0 319.7s 379.5s
07 10 GLM 5.3 Flash
92.8
19.0 120.8s 145.9s
08 11 MIMO v2.5
90.3
11.5 139.1s 167.8s
09 12 GLM 5.2
87.3
14.0 40.5s 64.3s
13 Gemini 3.8 Flash (High) cerrado
84.7
9.0 — 30.0s (cronometrado por la ruta)
10 14 Qwen 3.6
65.5
13.0 0.9s 14.8s
11 15 Gemma 4
65.3
8.0 0.6s 7.7s
  • Rango de runs: la diferencia entre el mejor y el peor run oficial del modelo. Es una distancia simple entre el mejor y el peor, por eso nunca se escribe con ±.
  • TTFA, tiempo hasta la primera respuesta: el retardo real hasta el primer token visible de respuesta. Los tokens de razonamiento no cuentan como respuesta.

// calidad vs velocidad

El modelo más inteligente no siempre es el más rápido

De los modelos cronometrados, DeepSeek V4.1 Flash es el que mejor nota saca, 96,3, y tarda 81,4 s en empezar a responder. Gemma 4 es el más rápido: empieza en 0,6 s y saca 65,3. MiMo v2.6 Flash es el más lento, 319,7 s, con 93,2.

60 70 80 90 100 0 s100 s200 s300 s TTFA mediana, segundos hasta la primera respuesta Monday Score DeepSeek V4.1 Flash 96,3 · 81,4 s DeepSeek V4.1 Flash (1017) 95,8 · 84,1 s DeepSeek V4 Flash 95,0 · 136,0 s GLM 5.3 94,8 · 253,3 s Qwen 3.8 Flash 94,5 · 309,3 s MiMo v2.6 Flash 93,2 · 319,7 s GLM 5.3 Flash 92,8 · 120,8 s MIMO v2.5 90,3 · 139,1 s GLM 5.2 87,3 · 40,5 s Qwen 3.6 65,5 · 0,9 s Gemma 4 65,3 · 0,6 s
Monday Score y tiempo hasta la primera respuesta, por modelo
Modelo Monday Score TTFA mediana
DeepSeek V4.1 Flash 96.3 81.4s
DeepSeek V4.1 Flash (1017) 95.8 84.1s
DeepSeek V4 Flash 95.0 136.0s
GLM 5.3 94.8 253.3s
Qwen 3.8 Flash 94.5 309.3s
MiMo v2.6 Flash 93.2 319.7s
GLM 5.3 Flash 92.8 120.8s
MIMO v2.5 90.3 139.1s
GLM 5.2 87.3 40.5s
Qwen 3.6 65.5 0.9s
Gemma 4 65.3 0.6s

// lo que destacó

Curiosidades del benchmark

Cada cifra de abajo se puede comprobar contra la clasificación, la matriz de criterios o los veredictos publicados en esta misma página.

  1. 01

    11 / 45

    runs no llegaron a mover las dos cadenas a la vez

    Marcus

    Once planes pusieron en cola, detrás de un solo ingeniero, los dos plazos que lo reclamaban

    Marcus es el dueño por defecto de tres tareas y el único posible de dos. La tercera —el parche de permisos de Contoso— tiene sustituto con nombre: Daniel, que estuvo en el modelo de permisos hace dos semanas, a cambio de hora y media de su tiempo y media hora de Marcus para el traspaso. Once runs pasaron las dos cadenas por Marcus una detrás de otra mientras Daniel tenía la semana vacía. Las fuentes dicen qué sabe hacer cada uno y dejan que el modelo decida quién hace qué.

  2. 02

    27 / 45

    runs vieron las dos mitades del bloqueo

    Precios

    Un plan que se bloquea a sí mismo, dicho en dos frases seguidas

    Sarah quiere montar el pack de aprobación de packaging con capturas de la página de precios acabada, y la página no puede publicarse hasta que esa aprobación pase. Nadie en el escenario se da cuenta, y la salida es una línea del checklist de Priya: se aceptan mockups de diseño. Veintisiete runs de cuarenta y cinco enunciaron el bloqueo y usaron la vía del mockup; tres no hicieron ni lo uno ni lo otro, y con ellas se va la fecha del jueves.

  3. 03

    81.0 – 100.0

    tres runs, el mismo prompt

    GLM 5.3 Flash

    La dispersión de un solo modelo supera la distancia entre el primero y el decimotercero

    El primero y el decimotercero de esta clasificación están a 15,3 puntos. Las tres runs de GLM 5.3 Flash están a diecinueve de distancia entre sí, con los mismos bytes: un 100,0 perfecto, un 97,5 y un 81,0 que adelanta el lanzamiento de onboarding del viernes al jueves y luego encola las dos cadenas en un solo ingeniero. A Qwen 3.8 Flash le pasó lo mismo: 95,0 y 100,0, y luego un 88,5. DeepSeek V4 Flash sacó 95,0 tres veces sin moverse y quedó por encima de los dos. Lee cada nota junto con la columna de rango que tiene al lado.

02

La prueba

Qué recibieron, y qué tenían que deducir.

// la prueba

Esto es un problema de dependencias

Seis ficheros corrientes: Slack, email, notas de reunión, una lista de tareas del viernes y dos CSV. Duraciones, responsables, plazos y quién sabe hacer qué están dichos con todas las letras. Este dibujo no se le da al modelo en ningún momento.

Qué tiene que pasar antes que qué

Migración del esquema Elena · 3h Parche de compatibilidad Marcus · 4h Regresión de SSO QA · 2h Despliegue a producción Marcus · 1h Mié 17:00 Atlas, comprometido por escrito Permisos de Contoso Marcus · 2h Export de compliance Julia · 1h Mar 16:00 MSA 8.3 de Contoso, contractual Backfill de reconciliación Elena · 1.5h Consejo: ingresos Sarah · 2h Vie 10:00 Reunión del consejo Pack de aprobación Sarah · 1.5h Aprobación del comité Página pública de precios Sarah · 3h Jue 17:00 Página de precios publicada
  • solo esa persona puede hacerlo
  • tiene sustituto con nombre

9 dependencias. Cada una aparece una sola vez, en un hilo de Slack, en un email o en una línea de las notas, y ninguna fuente enuncia dos juntas.

La frase que ninguna fuente escribe

Marcus

  • Parche de compatibilidad 4h · solo esa persona puede hacerlo
  • Despliegue a producción 1h · solo esa persona puede hacerlo
  • Permisos de Contoso 2h · Daniel 3.5h + 30min

Marcus es el dueño por defecto de tres tareas y el único posible de dos. La tercera tiene sustituto, y moverla cuesta hora y media del tiempo de Daniel más media hora de Marcus para el traspaso. Con ese cambio se cumplen los dos compromisos con fecha, algo que el material no dice en ningún sitio.

Además tiene 3 horas reservadas para la instrumentación de onboarding, que la lista del viernes sigue llamando bloqueante y que Julia liberó esa misma tarde.

Un plan que se cierra sobre sí mismo

  1. Sarah planea montar el pack de aprobación con capturas de la página de precios acabada.
  2. La página no puede publicarse hasta que el comité de packaging la apruebe.
  3. El checklist de Priya acepta mockups de diseño. Nunca hicieron falta capturas de una página en vivo.

Qué pasó

  • 34 de 45 runs oficiales movieron las dos cadenas a la vez
  • 36 de 45 runs oficiales resolvieron del todo al ingeniero disputado
  • 27 de 45 runs oficiales vieron las dos mitades del bloqueo de precios

// la plantilla de corrección

Qué hace una respuesta correcta

  1. Arrancar ya la migración del esquema de facturación de Elena, de tres horas. Es la raíz común de la cadena de SSO, del arreglo de Contoso y de las gráficas de ingresos del consejo, y nada de lo que cuelga de ella puede empezar antes.

  2. Pasar el parche de permisos de Contoso a Daniel, tras un traspaso de 30 minutos con Marcus, y dejar a Marcus en el parche de compatibilidad y el rollout de SSO, que solo puede hacer él. Así las dos cadenas avanzan a la vez.

  3. La exportación de cumplimiento de Contoso puede estar el lunes a las 17:00, cerca de un día antes de su límite del martes a las 16:00. El SSO no puede terminar antes del martes a las 14:00, porque Marcus está en la sesión de Atlas hasta las 13:00; aun así queda un día antes del miércoles a las 17:00.

  4. Montar el pack de aprobación de packaging con mockups de diseño, que el checklist de Priya acepta, para que la aprobación y la página de precios del jueves dejen de esperarse la una a la otra.

  5. Soltar lo caducado: la revisión de Seguridad ya está cerrada, la instrumentación de onboarding no hace falta para el lanzamiento, y la petición de formato de fecha de Contoso va a Julia sin confundirla con el defecto real de cumplimiento.

Resumido de la solución publicada, ground-truth.yaml.

03

El método

Cómo se construye la nota, y cómo comprobarla.

// puntuación

Cómo funciona el Monday Score

Cien puntos repartidos en 6 dimensiones, y después penalizaciones. Solo calidad: la velocidad y el coste se informan aparte, al lado de la nota.

  1. Ruta crítica y dependencias ¿Deduce qué tiene que pasar antes que qué? 21
  2. Asignación de recursos ¿Deja a la persona insustituible en el trabajo insustituible? 25
  3. Planificación y paralelismo ¿El plan aprovecha el día o lo encola? 18
  4. Calidad de la decisión ¿Actúa sobre el bloqueo real aunque otro haga más ruido? 14
  5. Reconstrucción del estado ¿Sabe qué es cierto ahora mismo? 10
  6. Exactitud e incertidumbre ¿Arrastra bien los datos que le dan, y para donde para la evidencia? 12
  7. total 100

El juez no pone una nota de 0 a 100 directamente

Clasifica criterios atómicos de uno en uno, 21 en la rúbrica 0.3, y cada veredicto lleva la evidencia en la que se apoya. Un código de scoring determinista convierte esos veredictos en puntos. Ningún modelo ve nunca un marcador acumulado.

  • PASS todos los puntos del criterio
  • PARTIAL la mitad
  • FAIL nada

Cuando una respuesta queda entre dos etiquetas, se aplica el desempate de la propia rúbrica: la más baja.

Penalizaciones

Se aplican sobre la nota de dimensiones, con un tope de −25 por run.

  • −5 Alucinación material Una afirmación relevante para el briefing que el material no sostiene.
  • −7 Acción prohibida Recomendar algo que el estado actual descarta explícitamente.
  • −7 Error grave de planificación Recomendar un plan que no puede ejecutarse con las dependencias o la disponibilidad dadas.
  • −5 Contradicción grave Contradecirse sobre el estado de un asunto importante.

Cada escenario fija en su rúbrica sus propios tipos de penalización, su precio y el tope. Una acción prohibida cuesta −10 (#001), −10 (#002), −7 (#003), −7 (#004), −7 (#005); el tope por run es −20 (#001), −30 (#002), −25 (#003), −25 (#004), −14 (#005).

ver_metodologia →

// procedencia

Exactamente qué produjo estos números

Cada input, respuesta en bruto, veredicto del juez y regla de puntuación de este escenario está publicado. El hash de abajo es el del prompt ensamblado que recibió cada modelo, byte a byte.

Escenario

monday-003

Versión del escenario

0.3

Rúbrica

0.3

Evaluador

evaluator-opus5-v0.3

Juez

claude-opus-5

Resultado generado

2026-10-19

Suite v1.14 · evidencia del tablero v1.13

SHA-256 del prompt

aaf788f309d955d2b427c86fe7d95d2bbf88575fde7306adcfd74b0ec4a4103f

Intentos necesarios para tres runs válidas

Una run puede rechazarse antes de puntuarse: truncada, o devuelta sin razonamiento cuando se pidió razonamiento, o un duplicado de caché. Esas nunca llegan a un leaderboard, porque un leaderboard solo puede excluir lo que evaluó. Describe al modelo y su endpoint, así que se informa aparte de la nota.

  • Qwen 3.8 Flash 3 de 7 intentos REASONING_NOT_DELIVERED

// por qué lo hemos hecho

Los benchmarks son útiles,
pero lo importante es tu carga de trabajo

Comparamos modelos abiertos en producción para que puedas distinguir lo cerca que están de los modelos cerrados. MondayBench es cómo comprobamos si de verdad sirven antes de que lleguen ahí.