Nuevo: DeepSeek V4.1 Flash. La arquitectura construida para agentes, y los 890 bytes que cambian la factura. Explorar la pieza →

// mondaybench #002 beta

El mismo lunes caótico
para 15 modelos

Nueve fuentes. Un release que falló el viernes, dos formas de recuperarlo y cuatro personas cuyas agendas apenas coinciden.

Una pregunta: ¿Sabe qué ha cambiado por debajo?

ver_resultados ver_metodologia
  • 15 modelos
  • 3 runs cada uno
  • juez Opus 5
  • congelado y auditable
01

El resultado

Quince modelos, 45 runs, un juez.

// resultados

La clasificación

El Monday Score mide solo calidad: cómo respondió cada modelo a «¿Sabe qué ha cambiado por debajo?», criterio a criterio contra la rúbrica de este escenario. La velocidad va al lado y nunca se mezcla dentro.

Todos los modelos Solo modelos de pesos abiertos

# Modelo Monday Score Rango de runs TTFA mediana Latencia total
01 GPT-6 Astra cerrado
100.0
0.0 — —
02 Claude Opus 5 cerrado
98.0
3.0 — —
01 03 DeepSeek V4.1 Flash (1017)
95.2
8.0 84.3s 93.2s
02 04 Qwen 3.8 Flash
94.8
8.5 258.9s 285.0s
03 05 DeepSeek V4.1 Flash
93.0
10.5 61.2s 67.8s
04 06 GLM 5.2
91.2
8.0 67.0s 85.4s
07 Claude Fable 5.1 cerrado
91.0
6.0 — —
05 08 DeepSeek V4 Flash
89.3
13.5 162.6s 178.8s
06 09 GLM 5.3
87.7
4.0 176.2s 197.1s
07 10 GLM 5.3 Flash
87.3
6.5 238.5s 316.6s
08 11 MiMo v2.6 Flash
83.7
4.0 257.0s 322.0s
09 12 MIMO v2.5
81.2
33.0 163.3s 195.4s
13 Gemini 3.8 Flash (High) cerrado
80.0
1.5 — 38.8s
10 14 Qwen 3.6
70.2
31.0 0.9s 18.2s
11 15 Gemma 4
54.2
13.5 0.3s 8.7s
  • Rango de runs: la diferencia entre el mejor y el peor run oficial del modelo. Es una distancia simple entre el mejor y el peor, por eso nunca se escribe con ±.
  • TTFA, tiempo hasta la primera respuesta: el retardo real hasta el primer token visible de respuesta. Los tokens de razonamiento no cuentan como respuesta.

// calidad vs velocidad

El modelo más inteligente no siempre es el más rápido

De los modelos cronometrados, DeepSeek V4.1 Flash (1017) es el que mejor nota saca, 95,2, y tarda 84,3 s en empezar a responder. Gemma 4 es el más rápido: empieza en 0,3 s y saca 54,2. Qwen 3.8 Flash es el más lento, 258,9 s, con 94,8.

50 60 70 80 90 100 0 s100 s200 s TTFA mediana, segundos hasta la primera respuesta Monday Score DeepSeek V4.1 Flash (1017) 95,2 · 84,3 s Qwen 3.8 Flash 94,8 · 258,9 s DeepSeek V4.1 Flash 93,0 · 61,2 s GLM 5.2 91,2 · 67,0 s DeepSeek V4 Flash 89,3 · 162,6 s GLM 5.3 87,7 · 176,2 s GLM 5.3 Flash 87,3 · 238,5 s MiMo v2.6 Flash 83,7 · 257,0 s MIMO v2.5 81,2 · 163,3 s Qwen 3.6 70,2 · 0,9 s Gemma 4 54,2 · 0,3 s
Monday Score y tiempo hasta la primera respuesta, por modelo
Modelo Monday Score TTFA mediana
DeepSeek V4.1 Flash (1017) 95.2 84.3s
Qwen 3.8 Flash 94.8 258.9s
DeepSeek V4.1 Flash 93.0 61.2s
GLM 5.2 91.2 67.0s
DeepSeek V4 Flash 89.3 162.6s
GLM 5.3 87.7 176.2s
GLM 5.3 Flash 87.3 238.5s
MiMo v2.6 Flash 83.7 257.0s
MIMO v2.5 81.2 163.3s
Qwen 3.6 70.2 0.9s
Gemma 4 54.2 0.3s

// lo que destacó

Curiosidades del benchmark

Cada cifra de abajo se puede comprobar contra la clasificación, la matriz de criterios o los veredictos publicados en esta misma página.

  1. 01

    12 / 45

    runs eligieron el camino más seguro

    Opción B

    La mayoría de las runs cambió seguridad por un plazo que no apretaba

    Los dos caminos abren el rollout a las 11:00, una hora antes del límite. La opción B tiene un octavo del riesgo de reinicio de sesión sin costar tiempo. Treinta y tres de cuarenta y cinco runs no la eligieron. GPT-6 Astra y Claude Opus 5 la eligieron en sus tres runs; ningún modelo abierto la eligió en más de una de tres. El plan solo cabe si la secuencia empieza a las 09:07, cuando se puede enviar el diff; si empieza a las 09:15, cuando llega el ingeniero, ya no da tiempo.

  2. 02

    #3 → #10

    entre el #001 y el #002

    GLM 5.3 Flash

    El mejor modelo abierto del primer escenario quedó décimo en este

    Los dos escenarios miden habilidades distintas. El #001 premia darse cuenta de lo que cambió; el #002 premia montar un plan que funcione. Las tres runs de GLM 5.3 Flash caben en 6,5 puntos, y ninguna de ellas eligió el camino de release más seguro.

  3. 03

    64.5 – 97.5

    tres runs, el mismo prompt

    MIMO v2.5

    Un modelo dio su mejor y su peor respuesta con el mismo input

    Un rango de 33 puntos, el más ancho. Su mejor run, por sí sola, quedaría tercera en esta clasificación de quince; la peor, que afirma que no hace falta la verificación de Seguridad y luego la programa igualmente, quedaría decimocuarta. Tres runs por modelo existen justo para esto: con una sola, MIMO parece un modelo del top tres o de los dos últimos según cuál te toque.

  4. 04

    3 / 3

    planes que no se pueden ejecutar

    Gemma 4

    Un modelo recomendó un plan imposible en todas sus runs

    Sus tres runs programan el despliegue para después de que se haya ido el único ingeniero que puede ejecutarlo — una de ellas a las 10:30, diez minutos pasada su hora límite. A eso apunta exactamente la penalización MAJOR_PLANNING_ERROR, y Gemma 4 es el único modelo que la activó en todas sus runs.

02

La prueba

Qué recibieron, y qué tenían que deducir.

// la prueba

Esto es un problema de juntar piezas dispersas

El viernes, el despliegue en producción del build 2.9.4 falló en el shard eu-03 antes de que se abriera el rollout, y Atlas, un cliente con la renovación firmada, necesita que ese rollout haya empezado antes de las 12:00 del lunes o su migración se va al jueves. Hay dos salidas: la opción A reintenta el 2.9.4 con un precheck del shard (8% de riesgo de reinicio de sesión); la opción B despliega el 2.9.5-patch (menos del 1%), que, al cambiar código, necesita antes una revisión delta de Seguridad de 25 minutos de Priya. En los dos casos, ella hace una verificación post-deploy de 20 minutos antes de que Sam pueda abrir el rollout.

Quién está libre, y cuándo

09:00 09:30 10:00 10:30 11:00 11:30 12:00 Marcus Priya Sam Daniel
  • ahora · 09:07
  • Marcus se va · 10:20
  • El rollout de Atlas debe haber empezado · 12:00

Los dos caminos de recuperación · A

2.9.4

Reintentar el build que ya falló una vez, con un precheck de shard.

despliegue
20 min
riesgo de reinicio de sesión
8%
 
sin cambio de código

Los dos caminos de recuperación · B

2.9.5-patch

Un parche que evita el camino de migración que falló. Necesita antes una revisión delta de Seguridad.

despliegue
45 min
riesgo de reinicio de sesión
<1%
 
cambia código

Opción B, secuenciada

09:00 09:30 10:00 10:30 11:00 11:30 12:00 Priya Revisión delta de Seguridad · 25m Marcus Desplegar 2.9.5-patch · 45m Priya Verificación post-deploy · 20m Sam Abrir y comprobar el rollout · 15m

El despliegue de la opción B termina 3 minutos antes de que Marcus se vaya, y no tiene más margen. El rollout abre igualmente a las 11:00 en los dos caminos, porque ambos esperan a la verificación de Priya cuando vuelve a las 10:25.

El paso que hace que encaje

Priya revisa en asíncrono a partir de un diff enviado, y está libre desde las 09:00. La cadena empieza a las 09:07 con una acción que el usuario puede hacer, sin esperar a que Marcus llegue a las 09:15.

Qué pasó

Los dos caminos abren el rollout a las 11:00, 60 minutos antes del límite. La opción B tiene un octavo del riesgo sin costar tiempo. 12 de 45 runs oficiales la eligieron; 31 de 45 nunca montaron un calendario que demostrara que cabe.

Si se pasa, la migración se va al jueves. La renovación está firmada, así que el coste es ruido en la dirección de la empresa; los ingresos no están en juego.

// la plantilla de corrección

Qué hace una respuesta correcta

  1. Elegir la opción B y enviar el diff a las 09:07. Revisión 09:07–09:32, despliegue 09:32–10:17 (tres minutos antes de que Marcus se vaya a las 10:20), verificación 10:25–10:45 cuando vuelve Priya, rollout 10:45–11:00. La opción A también abre el rollout a las 11:00, porque espera a la misma verificación: no ahorra tiempo y tiene ocho veces el riesgo.

  2. Cuadrar la brecha de 54.000 € de expansión antes de las 11:00: Wayne 18.000 €, Globex 12.000 €, Soylent 10.000 €, Wonka 14.000 €. Solo Wayne (un traslado firmado a octubre) y Globex (compras) tienen una causa conocida.

  3. Globex es el riesgo de cuenta real: renueva en 18 días, uso −18%, accesos de admin −61%, tres tickets abiertos. El −45% de Acme es el cambio aprobado a procesamiento por lotes que recoge su contrato, así que no cuenta como churn.

  4. No reabrir el visto bueno del CEO, no prometer una hora de lanzamiento a ningún cliente, no enviar el email de lanzamiento (ahora es de Daniel) y no enviar fuera los precios Enterprise de la hoja interna caducada.

  5. Orion se queda abierto: ni ON ni OFF hasta que alguien confirme cuál es su ID de organización y lea el flag en vivo de esa organización.

Resumido de la solución publicada, ground_truth.md.

03

El método

Cómo se construye la nota, y cómo comprobarla.

// puntuación

Cómo funciona el Monday Score

Cien puntos repartidos en 6 dimensiones, y después penalizaciones. Solo calidad: la velocidad y el coste se informan aparte, al lado de la nota.

  1. Reconstrucción del estado ¿Sabe qué es cierto ahora mismo? 15
  2. Sustitución temporal ¿Se da cuenta de lo que un mensaje posterior dejó sin efecto? 15
  3. Planificación y dependencias ¿Sabe montar un plan que de verdad se pueda ejecutar? 25
  4. Decisión y priorización ¿Ataca primero la restricción más apretada? 20
  5. Razonamiento entre fuentes ¿Cruza ficheros, y separa la aritmética de la causa? 15
  6. Incertidumbre ¿Se niega a cerrar lo que la evidencia no cierra? 10
  7. total 100

El juez no pone una nota de 0 a 100 directamente

Clasifica criterios atómicos de uno en uno, 20 en la rúbrica 0.2, y cada veredicto lleva la evidencia en la que se apoya. Un código de scoring determinista convierte esos veredictos en puntos. Ningún modelo ve nunca un marcador acumulado.

  • PASS todos los puntos del criterio
  • PARTIAL la mitad
  • FAIL nada

Cuando una respuesta queda entre dos etiquetas, se aplica el desempate de la propia rúbrica: la más baja.

Penalizaciones

Se aplican sobre la nota de dimensiones, con un tope de −30 por run.

  • −5 Alucinación material Una afirmación relevante para el briefing que el material no sostiene.
  • −10 Acción prohibida Recomendar algo que el estado actual descarta explícitamente.
  • −7 Error grave de planificación Recomendar un plan que no puede ejecutarse con las dependencias o la disponibilidad dadas.
  • −5 Contradicción grave Contradecirse sobre el estado de un asunto importante.

Cada escenario fija en su rúbrica sus propios tipos de penalización, su precio y el tope. Una acción prohibida cuesta −10 (#001), −10 (#002), −7 (#003), −7 (#004), −7 (#005); el tope por run es −20 (#001), −30 (#002), −25 (#003), −25 (#004), −14 (#005).

ver_metodologia →

// procedencia

Exactamente qué produjo estos números

Cada input, respuesta en bruto, veredicto del juez y regla de puntuación de este escenario está publicado. El hash de abajo es el del prompt ensamblado que recibió cada modelo, byte a byte.

Escenario

monday-002

Versión del escenario

0.2

Rúbrica

0.2

Evaluador

evaluator-opus5-v0.2

Juez

claude-opus-5

Resultado generado

2026-10-19

Suite v1.14 · evidencia del tablero v1.13

SHA-256 del prompt

740e627cbc7413c321ede0d54000504de54821d34ff4677f82731b89600423a8

Intentos necesarios para tres runs válidas

Una run puede rechazarse antes de puntuarse: truncada, o devuelta sin razonamiento cuando se pidió razonamiento, o un duplicado de caché. Esas nunca llegan a un leaderboard, porque un leaderboard solo puede excluir lo que evaluó. Describe al modelo y su endpoint, así que se informa aparte de la nota.

  • Qwen 3.8 Flash 3 de 4 intentos REASONING_NOT_DELIVERED

Una run se generó y se puntuó pero no cuenta

  • monday-002__qwen3.8-flash__002 66.5 El proveedor sirvió esta run sin la fase de razonamiento que usaron sus dos hermanas — cero tokens de razonamiento frente a 42.808 y 30.342 — así que no era comparable con ellas. Su nota y su evidencia siguen publicadas, y queda fuera del resultado del modelo.

// por qué lo hemos hecho

Los benchmarks son útiles,
pero lo importante es tu carga de trabajo

Comparamos modelos abiertos en producción para que puedas distinguir lo cerca que están de los modelos cerrados. MondayBench es cómo comprobamos si de verdad sirven antes de que lleguen ahí.

Explorar Helmcode Ver GitHub