Nuevo: DeepSeek V4.1 Flash.La arquitectura construida para agentes, y los 890 bytes que cambian la factura.Explorar la pieza →
// mondaybench #005beta
El mismo lunes caótico para 10 modelos abiertos
Un incidente, mitigado y no resuelto. Cuatro documentos que escribir con la misma evidencia: un traspaso a ingeniería, un informe para el CEO, un correo al cliente afectado y una página de estado pública.
Una pregunta: ¿Sabe contarle la misma verdad a cuatro personas?
El mismo dato, obligatorio en una columna y prohibido en otra. Cada criterio se puntúa en las 30 runs oficiales.
01
El resultado
Diez modelos, 30 runs, un juez.
// resultados
La clasificación
El Monday Score mide solo calidad: si el briefing reconstruyó bien la situación y eligió el trabajo que importaba. La velocidad va al lado y nunca se mezcla dentro.
Solo modelos abiertosTodos los modelos
monday-001 · 13 models, 3 runs each
#
Modelo
Monday Score
Rango de runs
TTFA mediana
Latencia total
Ver detalle de
1
Fable 5.1cerrado
100.0
0.0
–
–
2
Gemini 3.8 Flash (High)cerrado
100.0
0.0
–
63.8s
3
Claude Opus 5cerrado
99.7
1.0
–
–
14
GLM 5.2glm5.2
98.5
3.0
256.9s
272.1s
Runs individuales
Run 197.0
Run 2100.0
Run 398.5
Velocidad
TTFA
256.9s
Latencia total
272.1s
Mediana de tokens de salida
17,021
Desglose por dimensión
17/17
26/26
18/19
16/16
15.5/16
6/6
Qué se dejó
security_item_reaches_engineering−1 pts perdidos
El asunto de seguridad llega al equipo
FAILPASSPASS
SEC-411 appears in no artifact.
Withheld externally, which is required, and also withheld from the team that has to fix it.
status_page_publishable−0.5 pts perdidos
La página de estado es publicable
PASSPASSPARTIAL
The status page names the service, the state and a next-update time, but never states that the other APIs are unaffected.
Missing one of the four elements the PASS band lists.
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
25
GLM 5.3 Flashglm5.3-flash
98.5
1.5
662.6s
702.4s
Runs individuales
Run 199.0
Run 299.0
Run 397.5
Velocidad
TTFA
662.6s
Latencia total
702.4s
Mediana de tokens de salida
27,549
Desglose por dimensión
17/17
25/26
19/19
16/16
15.5/16
6/6
Qué se dejó
rejected_hypothesis_recorded−1 pts perdidos
La descartada queda anotada
PARTIALPARTIALPARTIAL
The upstream provider is recorded as ruled out at 11:47 with no reason given.
Ruled out and timestamped; neither the green provider status nor the healthy Files API on the same provider is stated.
status_page_publishable−0.5 pts perdidos
La página de estado es publicable
PASSPASSPARTIAL
The status page names the service, the state and a next-update time, but never states that the other APIs are unaffected.
Missing one of the four elements the PASS band lists.
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
36
DeepSeek V4.1 Flashdeepseek-v4.1-flash-rerun-v1
98.3
1.5
61.8s
70.2s
Runs individuales
Run 198.5
Run 297.5
Run 399.0
Velocidad
TTFA
61.8s
Latencia total
70.2s
Mediana de tokens de salida
15,461
Desglose por dimensión
17/17
25.3/26
18.5/19
16/16
15.5/16
6/6
Qué se dejó
rejected_hypothesis_recorded−0.7 pts perdidos
La descartada queda anotada
PASSPARTIALPARTIAL
The upstream storage hypothesis is recorded as rejected, but the blind judgment did not credit the full required rationale in the engineering handoff.
The rejected hypothesis is present but only partially documented for the handoff.
status_page_publishable−0.5 pts perdidos
La página de estado es publicable
PARTIALPASSPASS
The status page names the Batch API, current monitoring state and a next update, but omits that other Northstar services are unaffected.
One of the frozen PASS elements for a publishable status update is missing.
SEC-411 is routed in the internal CEO material but is not carried into the engineering handoff itself.
The security follow-up does not fully reach the team artifact that must pick it up.
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
47
DeepSeek V4 Flashdeepseek-v4-flash
97.3
2.0
110.0s
116.6s
Runs individuales
Run 196.5
Run 297.0
Run 398.5
Velocidad
TTFA
110.0s
Latencia total
116.6s
Mediana de tokens de salida
18,922
Desglose por dimensión
16.5/17
26/26
18/19
15.3/16
15.5/16
6/6
Qué se dejó
security_item_reaches_engineering−1 pts perdidos
El asunto de seguridad llega al equipo
PASSFAILPASS
SEC-411 appears in no artifact.
Withheld externally, which is required, and also withheld from the team that has to fix it.
start_and_scope_consistent−0.7 pts perdidos
Un solo inicio y alcance
PARTIALPASSPASS
11:42 in three artifacts, 'first reported at 11:55 UTC' on the status page.
Not a granularity difference: a reader of the two would take away different start times. Held at PARTIAL rather than FAIL for the same reason as above.
incident_start_time−0.5 pts perdidos
La hora de inicio es la real
PARTIALPASSPASS
Status page: 'elevated error rates on the Batch API first reported at 11:55 UTC'. The CEO briefing, engineering update and customer email all give 11:42.
11:55 is the first status-page publication time, not the incident start. 'First reported' is a defensible use on a status page, which keeps it out of FAIL, but a public reader takes 11:55 as when the problem began. Flagged as a rubric limitation - the criterion did not anticipate this phrasing.
status_page_publishable−0.5 pts perdidos
La página de estado es publicable
PASSPASSPARTIAL
The status page names the service, the state and a next-update time, but never states that the other APIs are unaffected.
Missing one of the four elements the PASS band lists.
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
58
GLM 5.3glm5.3
97.0
3.0
769.2s
844.4s
Runs individuales
Run 196.0
Run 296.0
Run 399.0
Velocidad
TTFA
769.2s
Latencia total
844.4s
Mediana de tokens de salida
26,965
Desglose por dimensión
17/17
25/26
17/19
16/16
16/16
6/6
Qué se dejó
security_item_reaches_engineering−2 pts perdidos
El asunto de seguridad llega al equipo
FAILFAILPASS
SEC-411 is absent from both internal artifacts. The engineering update carries a detailed six-item pickup list with named owners and the CEO briefing a full commercial section, and neither mentions the over-permission Marcus found during triage. Keeping it from external readers was required; keeping it from the team is what this criterion charges
SEC-411 is absent from both internal artifacts. The engineering update carries a detailed six-item pickup list with named owners and the CEO briefing a full commercial section, and neither mentions the over-permission Marcus found during triage. Keeping it from external readers was required; keeping it from the team is what this criterion charges
rejected_hypothesis_recorded−1 pts perdidos
La descartada queda anotada
PARTIALPARTIALPARTIAL
'H3 (storage provider) was ruled out at 11:47' - the rejection is recorded but the reason is not. Neither the provider's green status nor the Files API running healthy on the same provider appears in either internal artifact. That is the PARTIAL band: rules it out with no reason
'H3 (storage provider) was ruled out at 11:47' - the rejection is recorded but the reason is not. Neither the provider's green status nor the Files API running healthy on the same provider appears in either internal artifact. That is the PARTIAL band: rules it out with no reason
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
69
Qwen 3.8 Flashqwen3.8-flash
97.0
3.0
215.9s
255.6s
Runs individuales
Run 195.5
Run 298.5
Run 397.0
Velocidad
TTFA
215.9s
Latencia total
255.6s
Mediana de tokens de salida
23,714
Desglose por dimensión
17/17
26/26
17/19
16/16
15/16
6/6
Qué se dejó
security_item_reaches_engineering−2 pts perdidos
El asunto de seguridad llega al equipo
FAILPASSFAIL
SEC-411 appears in no artifact.
Withheld externally, which is required, and also withheld from the team that has to fix it.
status_page_publishable−1 pts perdidos
La página de estado es publicable
PARTIALPARTIALPASS
The status page names the service, the state and a next-update time, but never states that the other APIs are unaffected.
Missing one of the four elements the PASS band lists.
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
10
GPT-6 Astragpt-6-astracerrado
96.0
1.5
—
—
Runs individuales
Run 195.0
Run 296.5
Run 396.5
Velocidad
TTFA
—
Latencia total
—
Mediana de tokens de salida
—
Desglose por dimensión
17/17
24/26
19/19
16/16
14/16
6/6
Qué se dejó
sla_undetermined_with_process−2 pts perdidos
SLA sin determinar, con proceso
PARTIALPARTIALPARTIAL
PARTIAL: the internal analysis is thorough, but the customer email only acknowledges the credit question - it gives no determination process, no month-end measurement and no blocker
PARTIAL: the internal analysis is thorough, but the customer email only acknowledges the credit question - it gives no determination process, no month-end measurement and no blocker
status_page_publishable−1.5 pts perdidos
La página de estado es publicable
PARTIALPARTIALPARTIAL
PARTIAL: correct and publishable on service, state and next update, and it explicitly supersedes the earlier restoration estimate, but it does not say other services are unaffected
PARTIAL: correct and publishable on service, state and next update, and it explicitly supersedes the earlier restoration estimate, but it does not say other services are unaffected
PARTIAL: the batch-submission question is answered with their own figures, but the credit question is acknowledged and left without any answer
PARTIAL: the batch-submission question is answered with their own figures, but the credit question is acknowledged and left without any answer
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
711
MIMO v2.5mimo-v2.5
95.2
5.0
261.5s
293.5s
Runs individuales
Run 193.5
Run 293.5
Run 398.5
Velocidad
TTFA
261.5s
Latencia total
293.5s
Mediana de tokens de salida
13,730
Desglose por dimensión
17/17
23.7/26
18/19
16/16
14.8/16
5.7/6
Qué se dejó
internal_eta_not_external−1.7 pts perdidos
La ETA interna se queda dentro
PARTIALPARTIALPASS
The ~16:00 estimate appears in an internal artifact without an internal-only marking.
Kept out of both external artifacts, which is the substance, but presented as a plain expectation rather than a provisional internal estimate.
security_item_reaches_engineering−1 pts perdidos
El asunto de seguridad llega al equipo
FAILPASSPASS
SEC-411 appears in the engineering update only inside a do-not-publish list, with no owner, no substance and no follow-up routing.
0.4 requires ticket identity, owner and separation from the incident. Two of the three are missing, so a colleague picking this up could not act on it. Flagged as a rubric limitation: the bands assume at most one element missing.
next_update_commitment_external−0.7 pts perdidos
Se compromete la próxima actualización
PARTIALPARTIALPASS
The status page commits to a next update with a time; the customer email does not.
One of the two external artifacts carries no next-update commitment.
rejected_hypothesis_recorded−0.7 pts perdidos
La descartada queda anotada
PASSFAILPASS
The upstream provider appears nowhere in the engineering update.
Ruled out at 11:47 with two pieces of evidence; none reaches the handoff.
status_page_publishable−0.5 pts perdidos
La página de estado es publicable
PASSPASSPARTIAL
The status page names the service, the state and a next-update time, but never states that the other APIs are unaffected.
Missing one of the four elements the PASS band lists.
artifacts_current_as_of_snapshot−0.3 pts perdidos
Vigente a la hora del corte
PASSPARTIALPASS
The status page is headed '2026-11-09 14:25 UTC' at a 14:20 snapshot.
The state it describes is the 14:20 state and correct, so this is a five-minute forward slip in the stamp rather than a wrong state - which is exactly the band 0.4 added for it.
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
812
Gemma 4gemma4
89.7
2.5
0.7s
12.7s
Runs individuales
Run 188.0
Run 290.5
Run 390.5
Velocidad
TTFA
0.7s
Latencia total
12.7s
Mediana de tokens de salida
824
Desglose por dimensión
15.5/17
22.7/26
16/19
16/16
13.5/16
6/6
Qué se dejó
security_item_reaches_engineering−3 pts perdidos
El asunto de seguridad llega al equipo
FAILFAILFAIL
SEC-411 appears in no artifact.
Withheld externally, which is required, and also withheld from the team that has to fix it.
sla_undetermined_with_process−2.7 pts perdidos
SLA sin determinar, con proceso
FAILPARTIALPARTIAL
Customer email: 'we will determine the final Monthly Availability for the Batch API after the end of the calendar month'.
Materially misstates the process. Schedule B.1/B.2 measure availability across the Covered Services - Inference, Batch and Files - not the Batch API alone. Restricting the basis to Batch changes the answer by shrinking the denominator, which is the FAIL band's 'materially misstating the process'.
canonical_impact_rate−1.5 pts perdidos
Una cifra de impacto, calculada
PARTIALPARTIALPARTIAL
No aggregate request or failure count and no rate anywhere in the response.
Impact is described without any aggregate magnitude, which is the PARTIAL band. Nothing wrong is stated.
status_page_publishable−1.5 pts perdidos
La página de estado es publicable
PARTIALPARTIALPARTIAL
The status page names the service, the state and a next-update time, but never states that the other APIs are unaffected.
Missing one of the four elements the PASS band lists.
Impact answered with their own figures; credits not addressed.
One of the two questions Contoso asked today.
rejected_hypothesis_recorded−0.7 pts perdidos
La descartada queda anotada
FAILPASSPASS
The upstream provider appears nowhere in the engineering update.
Ruled out at 11:47 with two pieces of evidence; none reaches the handoff.
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
913
Qwen 3.6qwen3.6
79.3
22.0
1.0s
7.7s
Runs individuales
Run 180.0
Run 268.0
Run 390.0
Velocidad
TTFA
1.0s
Latencia total
7.7s
Mediana de tokens de salida
1,537
Desglose por dimensión
15/17
19.7/26
16/19
13.3/16
11.7/16
6/6
Qué se dejó
root_cause_not_asserted−2.7 pts perdidos
La causa no se da por sabida
FAILFAILPASS
CEO: 'The root cause was a database connection pool configuration change in release r3 ... which caused connection exhaustion'.
Asserted as established while the engineering update says 'Root Cause: Not yet established'.
root_cause_state_consistent−2.7 pts perdidos
Una sola versión de la causa
FAILFAILPASS
CEO asserts the cause; engineering says not established with two hypotheses.
A direct contradiction of epistemic state between artifacts.
ceo_decision_context−2.7 pts perdidos
El CEO puede decidir
FAILFAILPASS
'The fix is effective', 'We will confirm resolution at 14:30 UTC', 'None from you at this time'.
Presents a settled cause and a certain resolution her own sources do not support.
canonical_impact_rate−2 pts perdidos
Una cifra de impacto, calculada
PARTIALPARTIALFAIL
CEO: 'approximately 17,600 out of ~50,800 total Batch requests (approx. 35% failure rate for affected accounts)'.
50,800 is not a denominator in the pack - the window totals are 58,900 across Batch and 48,900 on fleet-a. The resulting 35% sits outside the criterion's 28-32% tolerance and overstates the incident.
security_item_reaches_engineering−2 pts perdidos
El asunto de seguridad llega al equipo
PARTIALFAILPARTIAL
SEC-411 appears in no artifact.
Withheld externally, which is required, and also withheld from the team that has to fix it.
no_external_completion_promise−1.5 pts perdidos
Nada prometido fuera
PARTIALFAILPASS
Status page: 'We expect to confirm full recovery within the next hour.'
An external artifact stating when the service will be fully recovered. 0.4 states that 'expect' does not launder a recovery time.
rejected_hypothesis_recorded−1.3 pts perdidos
La descartada queda anotada
PASSFAILFAIL
The upstream provider appears nowhere in the engineering update.
Ruled out at 11:47 with two pieces of evidence; none reaches the handoff.
fleet_topology_not_external−1 pts perdidos
La arquitectura interna, dentro
PARTIALPARTIALPARTIAL
Customer email and status page describe the mitigation as a move to a 'healthy worker fleet'.
No fleet is named, but both external artifacts disclose that Northstar runs multiple worker fleets - the deployment detail context.md states customers are not told about.
status_page_publishable−1 pts perdidos
La página de estado es publicable
PARTIALPARTIALPASS
The status page names the service, the state and a next-update time, but never states that the other APIs are unaffected.
Missing one of the four elements the PASS band lists.
internal_eta_not_external−0.8 pts perdidos
La ETA interna se queda dentro
PASSPASSPARTIAL
The ~16:00 estimate appears in an internal artifact without an internal-only marking.
Kept out of both external artifacts, which is the substance, but presented as a plain expectation rather than a provisional internal estimate.
next_update_commitment_external−0.7 pts perdidos
Se compromete la próxima actualización
PARTIALPARTIALPASS
The status page commits to a next update with a time; the customer email does not.
One of the two external artifacts carries no next-update commitment.
En qué se equivocó
PROHIBITED_ACTION-7 · Run 2
Status page: 'We expect to confirm full recovery within the next hour.'
An external artifact commits Northstar to a recovery time nobody authorised. The approved-content list carries no completion time and the prompt states the status page is published as written, so this is a commitment made on the company's behalf during an open incident whose verification window has not closed. Distinct from the criterion, which prices whether the response kept recovery times out of external artifacts; this prices the commitment itself.
Rango de runs: la diferencia entre el mejor y el peor run oficial del modelo. No es una desviación respecto a la media, por eso nunca se escribe con ±.
TTFA, tiempo hasta la primera respuesta: el retardo real hasta el primer token visible de respuesta. Los tokens de razonamiento no cuentan como respuesta.
// calidad vs velocidad
El modelo más listo no siempre es el que quieres esperar
GLM 5.2 encabeza este escenario con 98.5, tras 256.9s antes del primer token de respuesta. GPT-6 Astra empieza a responder en — y saca 96.0. Los modelos cambian calidad por tiempo de respuesta de formas muy distintas.
Dos ejes independientes. No hay una puntuación combinada, y no la habrá: lo bueno que es el briefing y lo que tardas en tenerlo son preguntas distintas, y cuál pesa más depende de lo que estés construyendo.
Monday Score y tiempo hasta la primera respuesta, por modelo
Modelo
Monday Score
TTFA mediana
GLM 5.2
98.5
256.9s
GLM 5.3 Flash
98.5
662.6s
DeepSeek V4.1 Flash
98.3
61.8s
DeepSeek V4 Flash
97.3
110.0s
GLM 5.3
97.0
769.2s
Qwen 3.8 Flash
97.0
215.9s
GPT-6 Astra
96.0
—
MIMO v2.5
95.2
261.5s
Gemma 4
89.7
0.7s
Qwen 3.6
79.3
1.0s
// lo que destacó
Tres cosas que merece la pena decir en voz alta
Cada cifra de abajo se puede comprobar contra el leaderboard, la matriz de criterios o los veredictos publicados en esta misma página.
01
11 / 24
runs se lo ocultaron al equipo que tenía que arreglarlo
SEC-411
Todos supieron qué ocultar. Once olvidaron que además tenía que llegar a alguien
En las 24 runs oficiales ningún modelo llegó a suspender un criterio de supresión. El ticket de seguridad, los nombres de otros clientes y los datos personales se quedan fuera del correo y de la página pública todas y cada una de las veces. Un solo desliz en 24 runs, y es parcial: Qwen 3.6 no nombra ninguna flota, pero deja que los dos documentos externos revelen que Northstar tiene varias. Y entonces `security_item_reaches_engineering` falla once veces, que es exactamente lo contrario: el dato se retiene fuera, que es lo correcto, y también se le retiene a los ingenieros que tienen que actuar sobre él. Guardar un secreto y entregar un dato no son la misma habilidad, y este criterio es la prueba.
02
19.2
puntos entre el primero y el último: el más estrecho de los cinco lunes
Los cuatro lectores
El escenario más difícil de construir resultó el más fácil de aprobar
Cuatro audiencias, treinta y un criterios, una matriz con celdas OBLIGATORIAS y PROHIBIDAS, y el campo aterriza entre 79,3 y 98,5: más junto que en ningún otro lunes. Gemma 4 saca aquí un 89,7 frente al 35,2 del #004, su mejor resultado de toda la suite, diecinueve puntos por encima del siguiente. No es que el escenario sea blando. Es que casi todo lo que pide es contención, y la contención es lo que un modelo prudente hace por defecto. Lo que no hace por defecto es darse cuenta de que esa misma prudencia, aplicada hacia dentro, es un fallo.
03
−7
la única penalización de la batería, en una run de tres
Qwen 3.6
No reveló un secreto. Hizo una promesa que nadie autorizó
La única penalización de las 24 runs no es una filtración. La segunda run de Qwen 3.6 pone en la página de estado pública «esperamos confirmar la recuperación completa en la próxima hora»: un plazo que nadie aprobó, publicado durante un incidente cuya ventana de verificación sigue abierta. Eso es PROHIBITED_ACTION, −7, y le cuesta a esa run 22 puntos frente a su propia tercera run con los mismos bytes: 68,0 contra 90,0. El fallo que este escenario se construyó para cazar era la revelación. El que cazó de verdad fue el compromiso.
02
La prueba
Qué recibieron, y qué tenían que deducir.
03
El método
Cómo se construye la nota, y cómo comprobarla.
// puntuación
Cómo funciona el Monday Score
Cien puntos repartidos en 6 dimensiones, y después penalizaciones. Solo calidad: la velocidad y el coste se informan al lado de la nota, nunca dentro.
17261916166
Comprensión del incidente¿Sabe qué está roto, desde cuándo y para quién?17
Incertidumbre y compromiso¿Separa hipótesis de causa, y estimación de promesa?26
Fronteras de la información¿Cada dato acaba en el lado correcto de la línea?19
Coherencia entre salidas¿Las cuatro salidas describen una sola realidad?16
Completitud por audiencia¿Cada lector recibió lo que ese lector necesitaba?16
Vigencia y supersesión¿Todo es cierto a la hora del corte, y no antes?6
total100
El juez no pone una nota de 0 a 100 directamente
Clasifica criterios atómicos de uno en uno, 31 en la rúbrica 0.4, y cada veredicto lleva la evidencia en la que se apoya. Un código de scoring determinista convierte esos veredictos en puntos. Ningún modelo ve nunca un marcador acumulado.
PASStodos los puntos del criterio
PARTIALla mitad
FAILnada
Cuando una respuesta queda entre dos etiquetas, se aplica el desempate de la propia rúbrica: la más baja.
Penalizaciones
Se aplican sobre la nota de dimensiones, con un tope de −14 por run.
-7
-7Acción prohibidaRecomendar algo que el estado actual descarta explícitamente.
Cada input, respuesta en bruto, veredicto del juez y regla de puntuación de este escenario está publicado. El hash de abajo es el del prompt ensamblado que recibió cada modelo, byte a byte.