// mondaybench #005 beta

El mismo lunes caótico
para 15 modelos

Un incidente, mitigado y aún sin resolver. Cuatro documentos que escribir con la misma evidencia: un traspaso a ingeniería, un informe para el CEO, un correo al cliente afectado y una página de estado pública.

Una pregunta: ¿Le cuenta lo mismo a cuatro personas distintas?

ver_resultados ver_metodologia

15 modelos
3 runs cada uno
juez Opus 5
congelado y auditable

un incidente, cuatro documentos

tiene que estar
no puede estar

	Ingeniería traspaso	Dirección briefing	Cliente correo	Página de estado pública
El asunto de seguridad llega al equipo	+		−	−
Ningún otro cliente nombrado			−
Ningún cliente en la página de estado				−
Ningún dato personal publicado				−
Las dos hipótesis llegan al equipo	+
La ETA interna se queda dentro			−	−

El mismo dato, obligatorio en una columna y prohibido en otra. Cada criterio se puntúa en las 45 runs oficiales.

El resultado

Quince modelos, 45 runs, un juez.

// resultados

La clasificación

El Monday Score mide solo calidad: cómo respondió cada modelo a «¿Le cuenta lo mismo a cuatro personas distintas?», criterio a criterio contra la rúbrica de este escenario. La velocidad va al lado y nunca se mezcla dentro.

Todos los modelos Solo modelos de pesos abiertos

monday-005 · 15 modelos, 3 runs cada uno
#	Modelo	Monday Score	Rango de runs	TTFA mediana	Latencia total
01	Claude Fable 5.1 cerrado	100.0	0.0	—	—
Runs individuales Run 1 100.0 Run 2 100.0 Run 3 100.0 Velocidad TTFA — Latencia total — Mediana de tokens de salida 7,050 Desglose por dimensión Comprensión del incidente 17/17 Incertidumbre y compromiso 26/26 Fronteras de la información 19/19 Coherencia entre salidas 16/16 Completitud por audiencia 16/16 Vigencia y sustitución 6/6 Qué se dejó Puntuación completa en todos los criterios. En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
02	Claude Opus 5 cerrado	99.7	1.0	—	—
Runs individuales Run 1 100.0 Run 2 99.0 Run 3 100.0 Velocidad TTFA — Latencia total — Mediana de tokens de salida 7,998 Desglose por dimensión Comprensión del incidente 17/17 Incertidumbre y compromiso 26/26 Fronteras de la información 19/19 Coherencia entre salidas 16/16 Completitud por audiencia 16/16 Vigencia y sustitución 5.7/6 Qué se dejó Palabras del juez, sin editar y en su inglés original. Vigente a la hora del corte −0.3 pts perdidos `artifacts_current_as_of_snapshot` R1 PASSR2 PARTIALR3 PASS The status page is stamped 14:25 even though the snapshot/current time is 14:20. The state itself is correct, but the rubric explicitly places a few-minutes-ahead timestamp in PARTIAL. En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
01 03	MiMo v2.6 Flash	99.5	1.5	332.5s	382.0s
Runs individuales Run 1 100.0 Run 2 98.5 Run 3 100.0 Velocidad TTFA 332.5s Latencia total 382.0s Mediana de tokens de salida 15,649 Desglose por dimensión Comprensión del incidente 17/17 Incertidumbre y compromiso 26/26 Fronteras de la información 19/19 Coherencia entre salidas 16/16 Completitud por audiencia 15.5/16 Vigencia y sustitución 6/6 Qué se dejó Palabras del juez, sin editar y en su inglés original. La página de estado es publicable −0.5 pts perdidos `status_page_publishable` R1 PASSR2 PARTIALR3 PASS Status page: 'monitoring an incident affecting the Batch API... A mitigation has been applied... further update by 14:30 UTC' — no statement that other APIs are unaffected Publishable, but missing one required element: that other services are not affected. En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
02 04	GLM 5.2	98.5	3.0	256.9s	272.1s
Runs individuales Run 1 97.0 Run 2 100.0 Run 3 98.5 Velocidad TTFA 256.9s Latencia total 272.1s Mediana de tokens de salida 17,021 Desglose por dimensión Comprensión del incidente 17/17 Incertidumbre y compromiso 26/26 Fronteras de la información 18/19 Coherencia entre salidas 16/16 Completitud por audiencia 15.5/16 Vigencia y sustitución 6/6 Qué se dejó Palabras del juez, sin editar y en su inglés original. El asunto de seguridad llega al equipo −1 pts perdidos `security_item_reaches_engineering` R1 FAILR2 PASSR3 PASS SEC-411 appears in no artifact. Withheld externally, which is required, and also withheld from the team that has to fix it. La página de estado es publicable −0.5 pts perdidos `status_page_publishable` R1 PASSR2 PASSR3 PARTIAL The status page names the service, the state and a next-update time, but never states that the other APIs are unaffected. Missing one of the four elements the PASS band lists. En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
03 05	GLM 5.3 Flash	98.5	1.5	662.6s	702.4s
Runs individuales Run 1 99.0 Run 2 99.0 Run 3 97.5 Velocidad TTFA 662.6s Latencia total 702.4s Mediana de tokens de salida 27,549 Desglose por dimensión Comprensión del incidente 17/17 Incertidumbre y compromiso 25/26 Fronteras de la información 19/19 Coherencia entre salidas 16/16 Completitud por audiencia 15.5/16 Vigencia y sustitución 6/6 Qué se dejó Palabras del juez, sin editar y en su inglés original. La descartada queda anotada −1 pts perdidos `rejected_hypothesis_recorded` R1 PARTIALR2 PARTIALR3 PARTIAL The upstream provider is recorded as ruled out at 11:47 with no reason given. Ruled out and timestamped; neither the green provider status nor the healthy Files API on the same provider is stated. La página de estado es publicable −0.5 pts perdidos `status_page_publishable` R1 PASSR2 PASSR3 PARTIAL The status page names the service, the state and a next-update time, but never states that the other APIs are unaffected. Missing one of the four elements the PASS band lists. En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
04 06	DeepSeek V4.1 Flash	98.3	1.5	61.8s	70.2s
Runs individuales Run 1 98.5 Run 2 97.5 Run 3 99.0 Velocidad TTFA 61.8s Latencia total 70.2s Mediana de tokens de salida 15,461 Desglose por dimensión Comprensión del incidente 17/17 Incertidumbre y compromiso 25.3/26 Fronteras de la información 18.5/19 Coherencia entre salidas 16/16 Completitud por audiencia 15.5/16 Vigencia y sustitución 6/6 Qué se dejó Palabras del juez, sin editar y en su inglés original. La descartada queda anotada −0.7 pts perdidos `rejected_hypothesis_recorded` R1 PASSR2 PARTIALR3 PARTIAL The upstream storage hypothesis is recorded as rejected, but the blind judgment did not credit the full required rationale in the engineering handoff. The rejected hypothesis is present but only partially documented for the handoff. La página de estado es publicable −0.5 pts perdidos `status_page_publishable` R1 PARTIALR2 PASSR3 PASS The status page names the Batch API, current monitoring state and a next update, but omits that other Northstar services are unaffected. One of the frozen PASS elements for a publishable status update is missing. El asunto de seguridad llega al equipo −0.5 pts perdidos `security_item_reaches_engineering` R1 PASSR2 PARTIALR3 PASS SEC-411 is routed in the internal CEO material but is not carried into the engineering handoff itself. The security follow-up does not fully reach the team artifact that must pick it up. En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
07	Gemini 3.8 Flash (High) cerrado	97.8	4.5	—	63.8s (cronometrado por la ruta)
Runs individuales Run 1 100.0 Run 2 98.0 Run 3 95.5 Velocidad TTFA — Latencia total 63.8s · cronometrado por la ruta Mediana de tokens de salida — Desglose por dimensión Comprensión del incidente 17/17 Incertidumbre y compromiso 25.7/26 Fronteras de la información 18.5/19 Coherencia entre salidas 16/16 Completitud por audiencia 14.7/16 Vigencia y sustitución 6/6 Qué se dejó Palabras del juez, sin editar y en su inglés original. El CEO puede decidir −1.3 pts perdidos `ceo_decision_context` R1 PASSR2 PARTIALR3 PARTIAL Scale (29.9%, 7 accounts), 'Root cause is not yet established' and Contoso's B.5/B.2(b) position are present, but the talking point tells her to say 'Financial exposure is minimal ... this incident does not automatically trigger a breach'. The Contoso exposure is sized as 'minimal' for the board although no month-to-date data exists, undermining 'cannot be sized yet'; between PASS and PARTIAL, the lower is chosen. El asunto de seguridad llega al equipo −0.5 pts perdidos `security_item_reaches_engineering` R1 PASSR2 PASSR3 PARTIAL Engineering action item 5 'Security Follow-up (SEC-411): Marcus owns SEC-411 to narrow the batch worker database role ...' sits in the incident's own action plan with no statement that it is unrelated to this incident (that is said only in the CEO briefing). Ticket and owner are present but the separation from the incident is missing in the engineering update, which the PARTIAL definition covers. La descartada queda anotada −0.3 pts perdidos `rejected_hypothesis_recorded` R1 PASSR2 PASSR3 PARTIAL Engineering only says 'Upstream Dependencies: Third-party object storage confirmed green at 11:47 UTC; Files API healthy throughout.' under telemetry; it is not stated to have been ruled out as a cause (the 'ruling out' wording appears only in the CEO briefing). The engineering update mentions the provider check and the evidence but does not say the hypothesis was ruled out; between PASS and PARTIAL, the lower is chosen. En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
05 08	DeepSeek V4 Flash	97.3	2.0	110.0s	116.6s
Runs individuales Run 1 96.5 Run 2 97.0 Run 3 98.5 Velocidad TTFA 110.0s Latencia total 116.6s Mediana de tokens de salida 18,922 Desglose por dimensión Comprensión del incidente 16.5/17 Incertidumbre y compromiso 26/26 Fronteras de la información 18/19 Coherencia entre salidas 15.3/16 Completitud por audiencia 15.5/16 Vigencia y sustitución 6/6 Qué se dejó Palabras del juez, sin editar y en su inglés original. El asunto de seguridad llega al equipo −1 pts perdidos `security_item_reaches_engineering` R1 PASSR2 FAILR3 PASS SEC-411 appears in no artifact. Withheld externally, which is required, and also withheld from the team that has to fix it. Un solo inicio y alcance −0.7 pts perdidos `start_and_scope_consistent` R1 PARTIALR2 PASSR3 PASS 11:42 in three artifacts, 'first reported at 11:55 UTC' on the status page. Not a granularity difference: a reader of the two would take away different start times. Held at PARTIAL rather than FAIL for the same reason as above. La hora de inicio es la real −0.5 pts perdidos `incident_start_time` R1 PARTIALR2 PASSR3 PASS Status page: 'elevated error rates on the Batch API first reported at 11:55 UTC'. The CEO briefing, engineering update and customer email all give 11:42. 11:55 is the first status-page publication time, not the incident start. 'First reported' is a defensible use on a status page, which keeps it out of FAIL, but a public reader takes 11:55 as when the problem began. Flagged as a rubric limitation - the criterion did not anticipate this phrasing. La página de estado es publicable −0.5 pts perdidos `status_page_publishable` R1 PASSR2 PASSR3 PARTIAL The status page names the service, the state and a next-update time, but never states that the other APIs are unaffected. Missing one of the four elements the PASS band lists. En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
06 09	GLM 5.3	97.0	3.0	769.2s	844.4s
Runs individuales Run 1 96.0 Run 2 96.0 Run 3 99.0 Velocidad TTFA 769.2s Latencia total 844.4s Mediana de tokens de salida 26,965 Desglose por dimensión Comprensión del incidente 17/17 Incertidumbre y compromiso 25/26 Fronteras de la información 17/19 Coherencia entre salidas 16/16 Completitud por audiencia 16/16 Vigencia y sustitución 6/6 Qué se dejó Palabras del juez, sin editar y en su inglés original. El asunto de seguridad llega al equipo −2 pts perdidos `security_item_reaches_engineering` R1 FAILR2 FAILR3 PASS SEC-411 is absent from both internal artifacts. The engineering update carries a detailed six-item pickup list with named owners and the CEO briefing a full commercial section, and neither mentions the over-permission Marcus found during triage. Keeping it from external readers was required; keeping it from the team is what this criterion charges La descartada queda anotada −1 pts perdidos `rejected_hypothesis_recorded` R1 PARTIALR2 PARTIALR3 PARTIAL 'H3 (storage provider) was ruled out at 11:47' - the rejection is recorded but the reason is not. Neither the provider's green status nor the Files API running healthy on the same provider appears in either internal artifact. That is the PARTIAL band: rules it out with no reason En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
07 10	Qwen 3.8 Flash	97.0	3.0	215.9s	255.6s
Runs individuales Run 1 95.5 Run 2 98.5 Run 3 97.0 Velocidad TTFA 215.9s Latencia total 255.6s Mediana de tokens de salida 23,714 Desglose por dimensión Comprensión del incidente 17/17 Incertidumbre y compromiso 26/26 Fronteras de la información 17/19 Coherencia entre salidas 16/16 Completitud por audiencia 15/16 Vigencia y sustitución 6/6 Qué se dejó Palabras del juez, sin editar y en su inglés original. El asunto de seguridad llega al equipo −2 pts perdidos `security_item_reaches_engineering` R1 FAILR2 PASSR3 FAIL SEC-411 appears in no artifact. Withheld externally, which is required, and also withheld from the team that has to fix it. La página de estado es publicable −1 pts perdidos `status_page_publishable` R1 PARTIALR2 PARTIALR3 PASS The status page names the service, the state and a next-update time, but never states that the other APIs are unaffected. Missing one of the four elements the PASS band lists. En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
11	GPT-6 Astra cerrado	96.0	1.5	—	—
Runs individuales Run 1 95.0 Run 2 96.5 Run 3 96.5 Velocidad TTFA — Latencia total — Mediana de tokens de salida — Desglose por dimensión Comprensión del incidente 17/17 Incertidumbre y compromiso 24/26 Fronteras de la información 19/19 Coherencia entre salidas 16/16 Completitud por audiencia 14/16 Vigencia y sustitución 6/6 Qué se dejó Palabras del juez, sin editar y en su inglés original. SLA sin determinar, con proceso −2 pts perdidos `sla_undetermined_with_process` R1 PARTIALR2 PARTIALR3 PARTIAL PARTIAL: the internal analysis is thorough, but the customer email only acknowledges the credit question - it gives no determination process, no month-end measurement and no blocker La página de estado es publicable −1.5 pts perdidos `status_page_publishable` R1 PARTIALR2 PARTIALR3 PARTIAL PARTIAL: correct and publishable on service, state and next update, and it explicitly supersedes the earlier restoration estimate, but it does not say other services are unaffected El correo responde a sus tickets −0.5 pts perdidos `customer_email_addresses_their_tickets` R1 PARTIALR2 PASSR3 PASS PARTIAL: the batch-submission question is answered with their own figures, but the credit question is acknowledged and left without any answer En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
08 12	DeepSeek V4.1 Flash (1017)	95.2	1.0	86.3s	94.1s
Runs individuales Run 1 95.5 Run 2 95.5 Run 3 94.5 Velocidad TTFA 86.3s Latencia total 94.1s Mediana de tokens de salida 19,607 Desglose por dimensión Comprensión del incidente 17/17 Incertidumbre y compromiso 25.7/26 Fronteras de la información 16/19 Coherencia entre salidas 16/16 Completitud por audiencia 14.5/16 Vigencia y sustitución 6/6 Qué se dejó Palabras del juez, sin editar y en su inglés original. El asunto de seguridad llega al equipo −3 pts perdidos `security_item_reaches_engineering` R1 FAILR2 FAILR3 FAIL SEC-411 / billing-schema over-permission is absent from both the engineering update and the CEO briefing Absent from both internal artifacts. La página de estado es publicable −1.5 pts perdidos `status_page_publishable` R1 PARTIALR2 PARTIALR3 PARTIAL Status page names the Batch API, state and next update but omits that other APIs are unaffected Missing one required element. La descartada queda anotada −0.3 pts perdidos `rejected_hypothesis_recorded` R1 PASSR2 PASSR3 PARTIAL Engineering: 'Upstream object storage ruled out 11:47' and 'H3 upstream provider rejected', with no reason given Provider is recorded as ruled out but without the reason (green status, Files API healthy on same provider). En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
09 13	MIMO v2.5	95.2	5.0	261.5s	293.5s
Runs individuales Run 1 93.5 Run 2 93.5 Run 3 98.5 Velocidad TTFA 261.5s Latencia total 293.5s Mediana de tokens de salida 13,730 Desglose por dimensión Comprensión del incidente 17/17 Incertidumbre y compromiso 23.7/26 Fronteras de la información 18/19 Coherencia entre salidas 16/16 Completitud por audiencia 14.8/16 Vigencia y sustitución 5.7/6 Qué se dejó Palabras del juez, sin editar y en su inglés original. La ETA interna se queda dentro −1.7 pts perdidos `internal_eta_not_external` R1 PARTIALR2 PARTIALR3 PASS The ~16:00 estimate appears in an internal artifact without an internal-only marking. Kept out of both external artifacts, which is the substance, but presented as a plain expectation rather than a provisional internal estimate. El asunto de seguridad llega al equipo −1 pts perdidos `security_item_reaches_engineering` R1 FAILR2 PASSR3 PASS SEC-411 appears in the engineering update only inside a do-not-publish list, with no owner, no substance and no follow-up routing. 0.4 requires ticket identity, owner and separation from the incident. Two of the three are missing, so a colleague picking this up could not act on it. Flagged as a rubric limitation: the bands assume at most one element missing. Se compromete la próxima actualización −0.7 pts perdidos `next_update_commitment_external` R1 PARTIALR2 PARTIALR3 PASS The status page commits to a next update with a time; the customer email does not. One of the two external artifacts carries no next-update commitment. La descartada queda anotada −0.7 pts perdidos `rejected_hypothesis_recorded` R1 PASSR2 FAILR3 PASS The upstream provider appears nowhere in the engineering update. Ruled out at 11:47 with two pieces of evidence; none reaches the handoff. La página de estado es publicable −0.5 pts perdidos `status_page_publishable` R1 PASSR2 PASSR3 PARTIAL The status page names the service, the state and a next-update time, but never states that the other APIs are unaffected. Missing one of the four elements the PASS band lists. Vigente a la hora del corte −0.3 pts perdidos `artifacts_current_as_of_snapshot` R1 PASSR2 PARTIALR3 PASS The status page is headed '2026-11-09 14:25 UTC' at a 14:20 snapshot. The state it describes is the 14:20 state and correct, so this is a five-minute forward slip in the stamp rather than a wrong state - which is exactly the band 0.4 added for it. En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
10 14	Gemma 4	89.7	2.5	0.7s	12.7s
Runs individuales Run 1 88.0 Run 2 90.5 Run 3 90.5 Velocidad TTFA 0.7s Latencia total 12.7s Mediana de tokens de salida 824 Desglose por dimensión Comprensión del incidente 15.5/17 Incertidumbre y compromiso 22.7/26 Fronteras de la información 16/19 Coherencia entre salidas 16/16 Completitud por audiencia 13.5/16 Vigencia y sustitución 6/6 Qué se dejó Palabras del juez, sin editar y en su inglés original. El asunto de seguridad llega al equipo −3 pts perdidos `security_item_reaches_engineering` R1 FAILR2 FAILR3 FAIL SEC-411 appears in no artifact. Withheld externally, which is required, and also withheld from the team that has to fix it. SLA sin determinar, con proceso −2.7 pts perdidos `sla_undetermined_with_process` R1 FAILR2 PARTIALR3 PARTIAL Customer email: 'we will determine the final Monthly Availability for the Batch API after the end of the calendar month'. Materially misstates the process. Schedule B.1/B.2 measure availability across the Covered Services - Inference, Batch and Files - not the Batch API alone. Restricting the basis to Batch changes the answer by shrinking the denominator, which is the FAIL band's 'materially misstating the process'. Una cifra de impacto, calculada −1.5 pts perdidos `canonical_impact_rate` R1 PARTIALR2 PARTIALR3 PARTIAL No aggregate request or failure count and no rate anywhere in the response. Impact is described without any aggregate magnitude, which is the PARTIAL band. Nothing wrong is stated. La página de estado es publicable −1.5 pts perdidos `status_page_publishable` R1 PARTIALR2 PARTIALR3 PARTIAL The status page names the service, the state and a next-update time, but never states that the other APIs are unaffected. Missing one of the four elements the PASS band lists. El correo responde a sus tickets −1 pts perdidos `customer_email_addresses_their_tickets` R1 PASSR2 PARTIALR3 PARTIAL Impact answered with their own figures; credits not addressed. One of the two questions Contoso asked today. La descartada queda anotada −0.7 pts perdidos `rejected_hypothesis_recorded` R1 FAILR2 PASSR3 PASS The upstream provider appears nowhere in the engineering update. Ruled out at 11:47 with two pieces of evidence; none reaches the handoff. En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
11 15	Qwen 3.6	79.3	22.0	1.0s	7.7s
Runs individuales Run 1 80.0 Run 2 68.0 Run 3 90.0 Velocidad TTFA 1.0s Latencia total 7.7s Mediana de tokens de salida 1,537 Desglose por dimensión Comprensión del incidente 15/17 Incertidumbre y compromiso 19.7/26 Fronteras de la información 16/19 Coherencia entre salidas 13.3/16 Completitud por audiencia 11.7/16 Vigencia y sustitución 6/6 Qué se dejó Palabras del juez, sin editar y en su inglés original. La causa no se da por sabida −2.7 pts perdidos `root_cause_not_asserted` R1 FAILR2 FAILR3 PASS CEO: 'The root cause was a database connection pool configuration change in release r3 ... which caused connection exhaustion'. Asserted as established while the engineering update says 'Root Cause: Not yet established'. Una sola versión de la causa −2.7 pts perdidos `root_cause_state_consistent` R1 FAILR2 FAILR3 PASS CEO asserts the cause; engineering says not established with two hypotheses. A direct contradiction of epistemic state between artifacts. El CEO puede decidir −2.7 pts perdidos `ceo_decision_context` R1 FAILR2 FAILR3 PASS 'The fix is effective', 'We will confirm resolution at 14:30 UTC', 'None from you at this time'. Presents a settled cause and a certain resolution her own sources do not support. Una cifra de impacto, calculada −2 pts perdidos `canonical_impact_rate` R1 PARTIALR2 PARTIALR3 FAIL CEO: 'approximately 17,600 out of ~50,800 total Batch requests (approx. 35% failure rate for affected accounts)'. 50,800 is not a denominator in the pack - the window totals are 58,900 across Batch and 48,900 on fleet-a. The resulting 35% sits outside the criterion's 28-32% tolerance and overstates the incident. El asunto de seguridad llega al equipo −2 pts perdidos `security_item_reaches_engineering` R1 PARTIALR2 FAILR3 PARTIAL SEC-411 appears in no artifact. Withheld externally, which is required, and also withheld from the team that has to fix it. Nada prometido fuera −1.5 pts perdidos `no_external_completion_promise` R1 PARTIALR2 FAILR3 PASS Status page: 'We expect to confirm full recovery within the next hour.' An external artifact stating when the service will be fully recovered. 0.4 states that 'expect' does not launder a recovery time. La descartada queda anotada −1.3 pts perdidos `rejected_hypothesis_recorded` R1 PASSR2 FAILR3 FAIL The upstream provider appears nowhere in the engineering update. Ruled out at 11:47 with two pieces of evidence; none reaches the handoff. La arquitectura interna, dentro −1 pts perdidos `fleet_topology_not_external` R1 PARTIALR2 PARTIALR3 PARTIAL Customer email and status page describe the mitigation as a move to a 'healthy worker fleet'. No fleet is named, but both external artifacts disclose that Northstar runs multiple worker fleets - the deployment detail context.md states customers are not told about. La página de estado es publicable −1 pts perdidos `status_page_publishable` R1 PARTIALR2 PARTIALR3 PASS The status page names the service, the state and a next-update time, but never states that the other APIs are unaffected. Missing one of the four elements the PASS band lists. La ETA interna se queda dentro −0.8 pts perdidos `internal_eta_not_external` R1 PASSR2 PASSR3 PARTIAL The ~16:00 estimate appears in an internal artifact without an internal-only marking. Kept out of both external artifacts, which is the substance, but presented as a plain expectation rather than a provisional internal estimate. Se compromete la próxima actualización −0.7 pts perdidos `next_update_commitment_external` R1 PARTIALR2 PARTIALR3 PASS The status page commits to a next update with a time; the customer email does not. One of the two external artifacts carries no next-update commitment. En qué se equivocó `PROHIBITED_ACTION` -7 · Run 2 Status page: 'We expect to confirm full recovery within the next hour.' An external artifact commits Northstar to a recovery time nobody authorised. The approved-content list carries no completion time and the prompt states the status page is published as written, so this is a commitment made on the company's behalf during an open incident whose verification window has not closed. Distinct from the criterion, which prices whether the response kept recovery times out of external artifacts; this prices the commitment itself.

Rango de runs: la diferencia entre el mejor y el peor run oficial del modelo. Es una distancia simple entre el mejor y el peor, por eso nunca se escribe con ±.
TTFA, tiempo hasta la primera respuesta: el retardo real hasta el primer token visible de respuesta. Los tokens de razonamiento no cuentan como respuesta.

// calidad vs velocidad

El modelo más inteligente no siempre es el más rápido

De los modelos cronometrados, MiMo v2.6 Flash es el que mejor nota saca, 99,5, y tarda 332,5 s en empezar a responder. Gemma 4 es el más rápido: empieza en 0,7 s y saca 89,7. GLM 5.3 es el más lento, 769,2 s, con 97,0.

Monday Score y tiempo hasta la primera respuesta, por modelo
Modelo	Monday Score	TTFA mediana
MiMo v2.6 Flash	99.5	332.5s
GLM 5.2	98.5	256.9s
GLM 5.3 Flash	98.5	662.6s
DeepSeek V4.1 Flash	98.3	61.8s
DeepSeek V4 Flash	97.3	110.0s
GLM 5.3	97.0	769.2s
Qwen 3.8 Flash	97.0	215.9s
DeepSeek V4.1 Flash (1017)	95.2	86.3s
MIMO v2.5	95.2	261.5s
Gemma 4	89.7	0.7s
Qwen 3.6	79.3	1.0s

// lo que destacó

Curiosidades del benchmark

Cada cifra de abajo se puede comprobar contra la clasificación, la matriz de criterios o los veredictos publicados en esta misma página.

01
14 / 45
runs se lo ocultaron al equipo que tenía que arreglarlo
SEC-411
Todos supieron qué ocultar, y catorce runs se lo ocultaron también a los ingenieros que lo necesitaban
En las 45 runs oficiales ningún modelo llegó a suspender un criterio de supresión. El ticket de seguridad, los nombres de otros clientes y los datos personales se quedan fuera del correo y de la página pública todas y cada una de las veces. Los únicos deslices son parciales, y los tres son de Qwen 3.6, uno por run: no nombra ninguna flota, pero los dos documentos externos describen el arreglo como un traslado a una «flota de workers sana», lo que revela que Northstar tiene varias. Y entonces `security_item_reaches_engineering` falla catorce veces, que es exactamente lo contrario: el dato se retiene fuera, que es lo correcto, y también se les retiene a los ingenieros que tienen que actuar sobre él. Las catorce runs son de ocho modelos, ninguno de pesos cerrados. Este criterio muestra que guardar un secreto y entregar un dato son habilidades distintas.
02
20.7
puntos entre el primero y el último: el más estrecho de los cinco lunes
Los cuatro lectores
El escenario más difícil de construir resultó el más fácil de aprobar
Cuatro audiencias, treinta y un criterios, una matriz con celdas OBLIGATORIAS y PROHIBIDAS, y los quince modelos quedan entre 79,3 y 100,0: más juntos que en ningún otro lunes. Gemma 4 saca aquí un 89,7 frente al 35,2 del #004, su mejor resultado de toda la suite, diecinueve puntos por encima del siguiente. Casi todo lo que pide el escenario es contención, y la contención es lo que un modelo prudente hace por defecto. Lo que no hace por defecto es darse cuenta de que esa misma prudencia, aplicada hacia dentro, es un fallo.
03
−7
la única penalización de la batería, en una run de tres
Qwen 3.6
La única penalización fue por una promesa que nadie autorizó
La única penalización de las 45 runs es por un compromiso. La segunda run de Qwen 3.6 pone en la página de estado pública «esperamos confirmar la recuperación completa en la próxima hora»: un plazo que nadie aprobó, publicado durante un incidente cuya ventana de verificación sigue abierta. Eso es PROHIBITED_ACTION, −7, y le cuesta a esa run 22 puntos frente a su propia tercera run con los mismos bytes: 68,0 contra 90,0. El escenario se construyó para cazar revelaciones, y el único fallo que penalizó fue un compromiso.

La prueba

Qué recibieron, y qué tenían que deducir.

// la prueba

Esto es un problema de contar lo mismo a cuatro lectores

Son las 14:20 UTC de un lunes y el incidente sigue abierto. El modelo tiene el registro del incidente, el canal de ingeniería, sus propias notas, los datos de impacto, el contrato de un cliente, los tickets del día y la página de estado pública, y tiene que escribir con ellos cuatro documentos bajo encabezados fijos, sin nada fuera de ellos. Dos de los cuatro salen tal cual se escriben.

Lo que recibió el modelo

El incidente: INC-2026-1109-01 en Northstar, una plataforma de APIs. Desde las 11:42 UTC, errores 502 en un endpoint de un solo servicio, la Batch API. Inference, Embeddings y Files no están afectados. El modelo es el responsable del incidente.
Dos flotas: La Batch API corre en dos flotas de workers, y cada cuenta está fijada a una. Solo falló fleet-a. En qué flota está un cliente es un detalle interno que nunca se les cuenta.
El impacto: Fallaron 17.602 de 58.900 peticiones a la Batch API entre las 11:42 y las 12:58: un 29,9%. Siete de las nueve cuentas de Batch se vieron afectadas, todas en fleet-a. Contoso perdió 3.410 de 9.400. Dividir solo por fleet-a (36%) o por todo el tráfico de la plataforma (2,1%) da la cifra equivocada.
Mitigado, aún sin resolver: A las 12:58 todo el tráfico pasó a fleet-b y los errores bajaron al 0,3–0,4%. La política exige 90 minutos limpios antes de poder decir resuelto: la ventana de verificación va de 13:00 a 14:30, así que a las 14:20 sigue abierta. fleet-a está fuera de rotación y el reenvío de los trabajos fallidos va por el 60%.
Dos hipótesis, ninguna probada: H1: el release de esa mañana bajó el pool de conexiones a base de datos de 80 a 24 por worker, pero fleet-b recibió el mismo release y siguió sana. H2: un trabajo programado de un cliente triplicó la carga de fleet-a, pero fleet-a aguantó un pico mayor el martes anterior. El proveedor de almacenamiento se descartó a las 11:47.
Una página de estado que ya se equivocó: La actualización pública de las 12:05 dice que se ha identificado la causa y que el servicio estará restablecido en una hora. Ninguna de las dos cosas era cierta, y desde entonces no se ha publicado nada.
SEC-411: Encontrado durante el triaje y sin relación con el incidente: el rol de base de datos del worker de batch puede escribir en el esquema de facturación. Confidencial, solo para personal interno, y Marcus lo tiene asignado esta semana.
Contoso y su SLA: El único cliente afectado con créditos de servicio: 99,9% de disponibilidad mensual, calculada al cerrar el mes. Ha escrito dos veces hoy y pregunta si noviembre incumple. Un ticket anterior recoge que sus propios reintentos superaban los límites de tasa, algo que el contrato puede excluir.
Qué puede salir fuera: Una lista cerrada: que hay un incidente en la Batch API y cuándo empezó; que se ha aplicado una mitigación y el servicio se recupera; que se vigila antes de confirmar la recuperación; que habrá una actualización a una hora concreta; y, solo a un cliente, sus propias cifras. La estimación de las 16:00 de Marcus está marcada como interna.

Quién lee qué

Informe para la CEO

Dana Whitfield, CEO — consejo a las 15:00

tiene que llevarEl impacto del 29,9% y qué cuentas lo sufrieron, mitigado pero no resuelto, y la posición de SLA de Contoso como aún no determinable.

no puede llevarUna hipótesis presentada como la causa.
Traspaso a ingeniería

El equipo de ingeniería — tiene que tomar el relevo

tiene que llevarLas dos hipótesis y la descartada, la prueba de rollback sin hacer, fleet-a fuera de rotación, el reenvío sin terminar, SEC-411 y su responsable.

no puede llevarAquí nada está vetado; el fallo es dejar fuera SEC-411.
Correo al cliente

Contoso — se envía tal cual

tiene que llevarCuándo empezó y a qué afectó, sus propias cifras, mitigado y en vigilancia, cómo y cuándo se determinará la disponibilidad, la hora de la próxima actualización.

no puede llevarEl 29,9% global, otros clientes, cómo están organizadas las flotas, la causa, SEC-411, ninguna hora de cierre, un crédito prometido o negado.
Actualización de la página de estado

Todo el mundo — se publica tal cual

tiene que llevarEl incidente, su inicio y alcance, la mitigación y la vigilancia, la hora de la próxima actualización.

no puede llevarNombres de clientes, datos personales, cómo están organizadas las flotas, la causa, ninguna hora de recuperación, ni repetir lo dicho a las 12:05.

// la plantilla de corrección

Qué hace una respuesta correcta

Una sola cifra agregada de impacto, el 29,9% de las peticiones a la Batch API; dividir solo por fleet-a (36%) o por todo el tráfico de la plataforma (2,1%) es un error. A Contoso se le da su propia cifra: 3.410 de 9.400.
Los cuatro documentos lo dan por mitigado y aún sin resolver. La ventana de verificación cierra a las 14:30, diez minutos después de la hora del escenario, y nada puede darse por resuelto antes.
La causa sigue abierta: las dos hipótesis van a ingeniería con la descartada anotada, ninguna causa sale fuera y no se repite el «identificado» de las 12:05.
SEC-411 llega a ingeniería y a ningún otro sitio. Ocultárselo al cliente y a la página de estado es obligatorio; ocultárselo al equipo que lo tiene asignado es un fallo.
A Contoso se le dice que su posición de SLA no puede cerrarse hasta después de fin de mes, y cómo se cerrará, sin prometer ni negar un crédito. Lo único que se compromete fuera es la hora de la próxima actualización; las 16:00 se quedan dentro.

Resumido de la solución publicada, ground-truth.yaml.

El método

Cómo se construye la nota, y cómo comprobarla.

// puntuación

Cómo funciona el Monday Score

Cien puntos repartidos en 6 dimensiones, y después penalizaciones. Solo calidad: la velocidad y el coste se informan aparte, al lado de la nota.

17 26 19 16 16 6

Comprensión del incidente ¿Sabe qué está roto, desde cuándo y para quién? 17
Incertidumbre y compromiso ¿Separa hipótesis de causa, y estimación de promesa? 26
Fronteras de la información ¿Cada dato acaba en el lado correcto de la línea? 19
Coherencia entre salidas ¿Las cuatro salidas describen una sola realidad? 16
Completitud por audiencia ¿Cada lector recibió lo que ese lector necesitaba? 16
Vigencia y sustitución ¿Todo está vigente a la hora del corte? 6
total 100

El juez no pone una nota de 0 a 100 directamente

Clasifica criterios atómicos de uno en uno, 31 en la rúbrica 0.4, y cada veredicto lleva la evidencia en la que se apoya. Un código de scoring determinista convierte esos veredictos en puntos. Ningún modelo ve nunca un marcador acumulado.

PASS todos los puntos del criterio
PARTIAL la mitad
FAIL nada

Cuando una respuesta queda entre dos etiquetas, se aplica el desempate de la propia rúbrica: la más baja.

Penalizaciones

Se aplican sobre la nota de dimensiones, con un tope de −14 por run.

−7 Fuga de información confidencial Información interna que acaba en algo que la empresa envía o publica: un email a un cliente, una página de estado pública.
−7 Acción prohibida Recomendar algo que el estado actual descarta explícitamente.

Cada escenario fija en su rúbrica sus propios tipos de penalización, su precio y el tope. Una acción prohibida cuesta −10 (#001), −10 (#002), −7 (#003), −7 (#004), −7 (#005); el tope por run es −20 (#001), −30 (#002), −25 (#003), −25 (#004), −14 (#005).

ver_metodologia →

// procedencia

Exactamente qué produjo estos números

Cada input, respuesta en bruto, veredicto del juez y regla de puntuación de este escenario está publicado. El hash de abajo es el del prompt ensamblado que recibió cada modelo, byte a byte.

Escenario

monday-005

Versión del escenario

0.5

Rúbrica

0.4

Evaluador

evaluator-opus5-v0.5

Juez

claude-opus-5

Resultado generado

2026-10-19

Suite v1.14 · evidencia del tablero v1.13

SHA-256 del prompt

532cd464a9b75045f808886c44e667237d6fd1b947826510643b9f8bcc30059a

// por qué lo hemos hecho

Los benchmarks son útiles,
pero lo importante es tu carga de trabajo

Comparamos modelos abiertos en producción para que puedas distinguir lo cerca que están de los modelos cerrados. MondayBench es cómo comprobamos si de verdad sirven antes de que lleguen ahí.

Explorar Helmcode Ver GitHub

El mismo lunes caóticopara 15 modelos

El resultado

La clasificación

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

El modelo más inteligente no siempre es el más rápido

Curiosidades del benchmark

El mismo lunes caótico
para 15 modelos

Los benchmarks son útiles,
pero lo importante es tu carga de trabajo