// mondaybench #001 beta

El mismo lunes caótico
para 15 modelos

Mensajes de Slack. Emails. Notas de reunión. Una lista de tareas caducada. Métricas de clientes.

Una pregunta: ¿Sabe distinguir lo que de verdad importa?

ver_resultados ver_metodologia

15 modelos
3 runs cada uno
juez Opus 5
congelado y auditable

48 mensajes de Slack · 7 emails · 2 reuniones tres de ellos cambian lo que ya era cierto

metrics.csv La anomalía de Umbrella — en las métricas, nadie la menciona

El resultado

Quince modelos, 45 runs, un juez.

// resultados

La clasificación

El Monday Score mide solo calidad: cómo respondió cada modelo a «¿Sabe distinguir lo que de verdad importa?», criterio a criterio contra la rúbrica de este escenario. La velocidad va al lado y nunca se mezcla dentro.

Todos los modelos Solo modelos de pesos abiertos

monday-001 · 15 modelos, 3 runs cada uno
#	Modelo	Monday Score	Rango de runs	TTFA mediana	Latencia total
01	GPT-6 Astra cerrado	100.0	0.0	—	—
Runs individuales Run 1 100.0 Run 2 100.0 Run 3 100.0 Velocidad TTFA — Latencia total — Mediana de tokens de salida — Desglose por dimensión Detección de acciones 25/25 Reconstrucción del estado 25/25 Priorización 15/15 Razonamiento con datos 15/15 Incertidumbre 10/10 Resistencia al ruido 10/10 Qué se dejó Puntuación completa en todos los criterios. En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
02	Claude Opus 5 cerrado	98.5	0.0	—	—
Runs individuales Run 1 98.5 Run 2 98.5 Run 3 98.5 Velocidad TTFA — Latencia total — Mediana de tokens de salida 2,952 Desglose por dimensión Detección de acciones 25/25 Reconstrucción del estado 25/25 Priorización 15/15 Razonamiento con datos 13.5/15 Incertidumbre 10/10 Resistencia al ruido 10/10 Qué se dejó Palabras del juez, sin editar y en su inglés original. Errores leídos contra el tráfico −1.5 pts perdidos `umbrella_error_rate` R1 PARTIALR2 PARTIALR3 PARTIAL Compares Umbrella's 163 errors with other accounts / says it is high relative to volume, but does not give Umbrella's 94,217 request denominator, an error rate, or the Stark high-traffic comparison; lower-label rule => PARTIAL. En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
01 03	GLM 5.3 Flash	98.0	1.5	118.8s	132.4s
Runs individuales Run 1 98.5 Run 2 97.0 Run 3 98.5 Velocidad TTFA 118.8s Latencia total 132.4s Mediana de tokens de salida 5,603 Desglose por dimensión Detección de acciones 25/25 Reconstrucción del estado 25/25 Priorización 15/15 Razonamiento con datos 13.5/15 Incertidumbre 9.5/10 Resistencia al ruido 10/10 Qué se dejó Palabras del juez, sin editar y en su inglés original. Errores leídos contra el tráfico −1.5 pts perdidos `umbrella_error_rate` R1 PARTIALR2 PARTIALR3 PARTIAL '1821ms (vs ~300 for everyone else)' quotes the peers' latency and 'Stark/Contoso error rates negligible' reaches for the rate idea, but no request volume and no rate figure - the 163-against-94,217 reading is never made Conversión del viernes no verificable −0.5 pts perdidos `friday_conversion_unknown` R1 PASSR2 PARTIALR3 PASS 'Julia saw weak conversion Friday but suspects noisy traffic; no owner assigned' - flagged, but no statement that the provided data cannot settle it En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
04	Claude Fable 5.1 cerrado	97.5	1.5	—	—
Runs individuales Run 1 97.0 Run 2 98.5 Run 3 97.0 Velocidad TTFA — Latencia total — Mediana de tokens de salida 2,352 Desglose por dimensión Detección de acciones 25/25 Reconstrucción del estado 25/25 Priorización 15/15 Razonamiento con datos 13.5/15 Incertidumbre 9/10 Resistencia al ruido 10/10 Qué se dejó Palabras del juez, sin editar y en su inglés original. Errores leídos contra el tráfico −1.5 pts perdidos `umbrella_error_rate` R1 PARTIALR2 PARTIALR3 PARTIAL compares Umbrella's raw error count and latency with other customers but never cites the 94,217 request volume, an error rate, or Stark's higher raw count on far higher traffic compares with other customers without connecting the count to traffic volume Conversión del viernes no verificable −1 pts perdidos `friday_conversion_unknown` R1 PARTIALR2 PASSR3 PARTIAL nobody verified the Friday conversion drop; filed under needs-more-information POST-AUDIT CORRECTION PASS -> PARTIAL (experiments/fable-5.1-full-mondaybench/AUDIT.md section 5). Original reason: flagged as unverifiable from the data En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
02 05	GLM 5.3	97.5	6.0	181.6s	202.8s
Runs individuales Run 1 100.0 Run 2 94.0 Run 3 98.5 Velocidad TTFA 181.6s Latencia total 202.8s Mediana de tokens de salida 6,861 Desglose por dimensión Detección de acciones 23.8/25 Reconstrucción del estado 25/25 Priorización 14.2/15 Razonamiento con datos 14.5/15 Incertidumbre 10/10 Resistencia al ruido 10/10 Qué se dejó Palabras del juez, sin editar y en su inglés original. Acción sobre Umbrella −1.2 pts perdidos `umbrella_action` R1 PASSR2 PARTIALR3 PASS detected and actioned for today ('Raise with engineering/CS today'), no root cause claimed - but ranked #4, below a holding reply to Initech and below the churn analysis, so it is under-prioritised; between PASS and PARTIAL the rubric's tie-break takes the lower Umbrella y churn priorizados −0.8 pts perdidos `umbrella_and_churn_high` R1 PASSR2 PARTIALR3 PASS churn is appropriately placed at #3; Umbrella is at #4 behind a routine email reply, so only one of the two is properly prioritised Errores leídos contra el tráfico −0.5 pts perdidos `umbrella_error_rate` R1 PASSR2 PASSR3 PARTIAL compares Umbrella with the other accounts on latency ('every other account: 267-341 ms') and notes they look healthy, but never reads the 163 errors against Umbrella's 94,217 requests, gives no error rate, and does not note that Stark carries more raw errors on far higher traffic En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
06	Gemini 3.8 Flash (High) cerrado	95.3	2.5	—	13.2s (cronometrado por la ruta)
Runs individuales Run 1 97.0 Run 2 94.5 Run 3 94.5 Velocidad TTFA — Latencia total 13.2s · cronometrado por la ruta Mediana de tokens de salida — Desglose por dimensión Detección de acciones 25/25 Reconstrucción del estado 25/25 Priorización 13.3/15 Razonamiento con datos 12/15 Incertidumbre 10/10 Resistencia al ruido 10/10 Qué se dejó Palabras del juez, sin editar y en su inglés original. Errores leídos contra el tráfico −3 pts perdidos `umbrella_error_rate` R1 FAILR2 FAILR3 FAIL 'elevated errors (163)' with no reference to 94,217 requests, an error rate, or Stark Industries' higher raw errors on higher traffic. Raw error count is treated as alarming without reference to traffic. Umbrella y churn priorizados −1.7 pts perdidos `umbrella_and_churn_high` R1 PASSR2 PARTIALR3 PARTIAL Umbrella is #2 HIGH, but churn is #4 'MEDIUM... (Due Tuesday)', ranked below the #3 Initech pricing reply. Only Umbrella is appropriately prioritised; churn ahead of the board meeting sits below a holding reply. En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
03 07	DeepSeek V4.1 Flash	95.0	6.0	39.3s	44.1s
Runs individuales Run 1 91.0 Run 2 97.0 Run 3 97.0 Velocidad TTFA 39.3s Latencia total 44.1s Mediana de tokens de salida 8,154 Desglose por dimensión Detección de acciones 23.8/25 Reconstrucción del estado 25/25 Priorización 14.2/15 Razonamiento con datos 12/15 Incertidumbre 10/10 Resistencia al ruido 10/10 Qué se dejó Palabras del juez, sin editar y en su inglés original. Errores leídos contra el tráfico −3 pts perdidos `umbrella_error_rate` R1 FAILR2 FAILR3 FAIL The response reports Umbrella's anomaly but does not contextualize the 163 errors against request volume or another account. No usable error-rate comparison is made. Acción sobre Umbrella −1.2 pts perdidos `umbrella_action` R1 PARTIALR2 PASSR3 PASS Umbrella is noticed, but the investigation is not promoted strongly enough into today's action list. The response recognizes the Umbrella anomaly but gives it weaker operational treatment than the PASS band requires. Umbrella y churn priorizados −0.8 pts perdidos `umbrella_and_churn_high` R1 PARTIALR2 PASSR3 PASS Churn is actionable, while Umbrella is not kept at the same high-priority level. Only one of the two required high-priority investigations is consistently elevated. En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
04 08	Qwen 3.8 Flash	92.5	6.0	72.2s	92.0s
Runs individuales Run 1 93.5 Run 2 95.0 Run 3 89.0 Velocidad TTFA 72.2s Latencia total 92.0s Mediana de tokens de salida 9,253 Desglose por dimensión Detección de acciones 25/25 Reconstrucción del estado 25/25 Priorización 11.5/15 Razonamiento con datos 12.5/15 Incertidumbre 8.5/10 Resistencia al ruido 10/10 Qué se dejó Palabras del juez, sin editar y en su inglés original. Sin falsas prioridades −2.7 pts perdidos `no_false_priorities` R1 PARTIALR2 PARTIALR3 FAIL two cleanup items outrank the churn analysis: the resolved Acme incident follow-up at #3 and the Analytics v2 task cleanup at #4, which closes the launch-email task Julia already owns Errores leídos contra el tráfico −2.5 pts perdidos `umbrella_error_rate` R1 FAILR2 PARTIALR3 FAIL the three figures are given in isolation: no request volume, no rate, no reference to any other customer Conversión del viernes no verificable −1.5 pts perdidos `friday_conversion_unknown` R1 PARTIALR2 PARTIALR3 PARTIAL 'The team suspected noisy traffic, but it has not been investigated' - flagged, but no statement that the provided data cannot settle it Umbrella y churn priorizados −0.8 pts perdidos `umbrella_and_churn_high` R1 PASSR2 PASSR3 PARTIAL Umbrella is well placed at #2, but the churn analysis is #6 of eight, below two task-cleanup items and the Initech reply En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
05 09	DeepSeek V4 Flash	90.8	8.0	55.4s	63.3s
Runs individuales Run 1 95.5 Run 2 87.5 Run 3 89.5 Velocidad TTFA 55.4s Latencia total 63.3s Mediana de tokens de salida 4,871 Desglose por dimensión Detección de acciones 22.7/25 Reconstrucción del estado 25/25 Priorización 12.7/15 Razonamiento con datos 12/15 Incertidumbre 8.5/10 Resistencia al ruido 10/10 Qué se dejó Palabras del juez, sin editar y en su inglés original. Errores leídos contra el tráfico −3 pts perdidos `umbrella_error_rate` R1 FAILR2 FAILR3 FAIL the three figures are given in isolation: no request volume, no rate, no reference to any other customer Acción sobre Umbrella −2.3 pts perdidos `umbrella_action` R1 PASSR2 PARTIALR3 PARTIAL only under 'unclear': 'Umbrella metrics look anomalous... Needs an explanation' - never enters today's list Umbrella y churn priorizados −1.7 pts perdidos `umbrella_and_churn_high` R1 PASSR2 PARTIALR3 PARTIAL churn actionable at #4; Umbrella appears only under 'unclear' Conversión del viernes no verificable −1.5 pts perdidos `friday_conversion_unknown` R1 PARTIALR2 PARTIALR3 PARTIAL 'possibly noise, not yet investigated'; 'real or noise? Needs a quick check' - flagged, but no statement that the provided data cannot settle it Sin falsas prioridades −0.7 pts perdidos `no_false_priorities` R1 PASSR2 PARTIALR3 PASS the #3 task-cleanup bundle, which closes the resolved Acme task, is ranked above the churn analysis En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
06 10	DeepSeek V4.1 Flash (1017)	90.3	11.0	35.4s	40.5s
Runs individuales Run 1 84.5 Run 2 95.5 Run 3 91.0 Velocidad TTFA 35.4s Latencia total 40.5s Mediana de tokens de salida 6,821 Desglose por dimensión Detección de acciones 21.3/25 Reconstrucción del estado 24.2/25 Priorización 13.3/15 Razonamiento con datos 12/15 Incertidumbre 9.5/10 Resistencia al ruido 10/10 Qué se dejó Palabras del juez, sin editar y en su inglés original. Errores leídos contra el tráfico −3 pts perdidos `umbrella_error_rate` R1 FAILR2 FAILR3 FAIL Cites '163 API errors' with no request volume, error rate, or Stark comparison. Raw error count with no reference to traffic. Acción sobre Umbrella −2.3 pts perdidos `umbrella_action` R1 PARTIALR2 PASSR3 PARTIAL Umbrella appears only as a sub-clause of the churn item: 'Include/assign a check on the Umbrella usage/error/latency anomaly'; otherwise listed as a 'Metrics standout' and in the unclear section. Notices the anomaly and asks for a check, but folds it into churn analysis rather than treating it as its own investigation today, i.e. under-prioritized. Umbrella y churn priorizados −1.7 pts perdidos `umbrella_and_churn_high` R1 PARTIALR2 PASSR3 PARTIAL Churn is standalone #2; Umbrella is only 'Include/assign a check on the Umbrella... anomaly' inside the churn item. Churn is appropriately prioritized but Umbrella is buried inside another item, so only one is prominent. Acción sobre Contoso −1.3 pts perdidos `contoso_action` R1 PARTIALR2 PASSR3 PASS #1 'Contoso renewal — hard deadline 11:00. Work with Noah/Marcus to get written confirmation... Do not guess.' No statement anywhere that the signature/renewal slips if unresolved. Top priority with the 11:00 deadline, but misses the renewal-blocking consequence, which the PARTIAL definition names. Renovación bloqueada −0.8 pts perdidos `contoso_blocked` R1 PARTIALR2 PASSR3 PASS 'Contoso legal needs written confirmation by 11:00 Monday that admin-deleted data is removed from DR backups... Noah flagged this as the only remaining concern'. Identifies the outstanding legal question but never states that the signature moves to the next approval window if unresolved. Conversión del viernes no verificable −0.5 pts perdidos `friday_conversion_unknown` R1 PASSR2 PARTIALR3 PASS Only in no-action section: 'Conversion dip was noticed Friday and may be noisy Friday traffic; worth checking next week.' Not listed under unclear. Does not assert the drop as fact, but never says it cannot be verified from the provided data. En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
07 11	MIMO v2.5	88.2	6.5	42.4s	64.1s
Runs individuales Run 1 91.0 Run 2 89.0 Run 3 84.5 Velocidad TTFA 42.4s Latencia total 64.1s Mediana de tokens de salida 2,150 Desglose por dimensión Detección de acciones 20.5/25 Reconstrucción del estado 25/25 Priorización 11.2/15 Razonamiento con datos 13/15 Incertidumbre 8.5/10 Resistencia al ruido 10/10 Qué se dejó Palabras del juez, sin editar y en su inglés original. Acción sobre Umbrella −3.5 pts perdidos `umbrella_action` R1 PARTIALR2 PARTIALR3 PARTIAL only under 'Unclear': 'Worth investigating - is there an active issue, or was this just a quiet week?' - never enters today's list Umbrella y churn priorizados −2.5 pts perdidos `umbrella_and_churn_high` R1 PARTIALR2 PARTIALR3 PARTIAL churn actionable in today's list; Umbrella appears only under 'Unclear' Errores leídos contra el tráfico −2 pts perdidos `umbrella_error_rate` R1 PARTIALR2 PARTIALR3 FAIL the three figures are given in isolation: no request volume, no rate, and no reference to any other customer Conversión del viernes no verificable −1.5 pts perdidos `friday_conversion_unknown` R1 PARTIALR2 PARTIALR3 PARTIAL 'flagged as potentially noisy Friday traffic. Worth revisiting next week' - not repeated as fact, but no data-gap statement Sin falsas prioridades −1.3 pts perdidos `no_false_priorities` R1 PASSR2 PARTIALR3 PARTIAL Globex, which the source says has no urgency, is #4, above the Umbrella investigation Acción sobre el churn −1 pts perdidos `churn_action` R1 PASSR2 PASSR3 PARTIAL the board deadline is stated ('Need a fuller breakdown for Tuesday's board meeting'), but the analysis never enters the action table - it is filed under 'no action required from you' as 'Analysis task is yours for Tuesday' En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
08 12	GLM 5.2	84.3	16.0	2.7s	6.9s
Runs individuales Run 1 87.0 Run 2 75.0 Run 3 91.0 Velocidad TTFA 2.7s Latencia total 6.9s Mediana de tokens de salida 1,241 Desglose por dimensión Detección de acciones 20.3/25 Reconstrucción del estado 25/25 Priorización 11.2/15 Razonamiento con datos 10/15 Incertidumbre 7.8/10 Resistencia al ruido 10/10 Qué se dejó Palabras del juez, sin editar y en su inglés original. Acción sobre Umbrella −4.7 pts perdidos `umbrella_action` R1 PARTIALR2 FAILR3 PARTIAL Umbrella is never mentioned; the CSV is opened only to check that Initech is healthy Umbrella y churn priorizados −2.5 pts perdidos `umbrella_and_churn_high` R1 PARTIALR2 PARTIALR3 PARTIAL churn well placed at #3, but the Umbrella investigation is buried at #6 Errores leídos contra el tráfico −2 pts perdidos `umbrella_error_rate` R1 PARTIALR2 FAILR3 PARTIAL no Umbrella reasoning at all Anomalía de Umbrella detectada −1.7 pts perdidos `umbrella_detected` R1 PASSR2 FAILR3 PASS the anomaly is missed entirely - the only customer row it reads is Initech's, and it reads it correctly as healthy Conversión del viernes no verificable −1.5 pts perdidos `friday_conversion_unknown` R1 PARTIALR2 PARTIALR3 PARTIAL 'Is it noise or a real signal? Needs a look at the dashboard' - uncertainty flagged, but no statement that the provided data cannot settle it Sin falsas prioridades −1.3 pts perdidos `no_false_priorities` R1 FAILR2 PASSR3 PASS two false priorities outrank the Umbrella investigation: the resolved Acme task close-out at #4 and Globex at #5, which the source says has no urgency Métricas de Umbrella citadas −1.3 pts perdidos `umbrella_metrics` R1 PASSR2 FAILR3 PASS no Umbrella figures Causa de Umbrella sin cerrar −0.7 pts perdidos `umbrella_unknown_cause` R1 PASSR2 PARTIALR3 PASS invents no cause, but expresses no uncertainty either - Umbrella is absent En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.
09 13	Qwen 3.6	82.8	5.0	0.8s	6.2s
Runs individuales Run 1 82.5 Run 2 80.5 Run 3 85.5 Velocidad TTFA 0.8s Latencia total 6.2s Mediana de tokens de salida 1,036 Desglose por dimensión Detección de acciones 21.5/25 Reconstrucción del estado 25/25 Priorización 11.2/15 Razonamiento con datos 12/15 Incertidumbre 6.5/10 Resistencia al ruido 10/10 Qué se dejó Palabras del juez, sin editar y en su inglés original. Acción sobre Umbrella −3.5 pts perdidos `umbrella_action` R1 PARTIALR2 PARTIALR3 PARTIAL under 'does not require action': 'a potential churn risk, though not explicitly flagged as urgent... Worth keeping in mind' - noticed, but not work for today Errores leídos contra el tráfico −3 pts perdidos `umbrella_error_rate` R1 FAILR2 FAILR3 FAIL the 163 errors are never mentioned; no volume, no rate, no other customer's figures Umbrella y churn priorizados −2.5 pts perdidos `umbrella_and_churn_high` R1 PARTIALR2 PARTIALR3 PARTIAL churn actionable at #2 HIGH; Umbrella filed under 'does not require action' Causa de Umbrella sin cerrar −2 pts perdidos `umbrella_unknown_cause` R1 PARTIALR2 PARTIALR3 PARTIAL no cause asserted as established, but no uncertainty expressed either, and Umbrella is absent from section 4 Conversión del viernes no verificable −1.5 pts perdidos `friday_conversion_unknown` R1 PARTIALR2 PARTIALR3 PARTIAL the Friday conversion question is never raised: the claim is not repeated, but the gap is not flagged Sin falsas prioridades −1.3 pts perdidos `no_false_priorities` R1 PASSR2 PARTIALR3 PARTIAL Globex, which the source says has no urgency, is #2 High, above the churn analysis En qué se equivocó `MATERIAL_HALLUCINATION` -5 · Run 1 Strictly confidential until Wednesday's review / state that new tiers are under review and will be announced publicly soon The source says pricing stays confidential until approved AND publicly announced; Wednesday is only the next review, and no announcement is scheduled at all. The error is written into the reply the user is told to send Initech, so it leaves the company. `MATERIAL_HALLUCINATION` -5 · Run 2 Strictly confidential until Wednesday's review / state that pricing is under review and will be communicated officially soon The source says pricing stays confidential until approved AND publicly announced; Wednesday is only the next review. A reader could conclude the tiers may be shared after Wednesday.
10 14	MiMo v2.6 Flash	82.7	9.5	40.9s	81.6s
Runs individuales Run 1 80.5 Run 2 79.0 Run 3 88.5 Velocidad TTFA 40.9s Latencia total 81.6s Mediana de tokens de salida 2,042 Desglose por dimensión Detección de acciones 19.3/25 Reconstrucción del estado 23.3/25 Priorización 11.3/15 Razonamiento con datos 12/15 Incertidumbre 8.3/10 Resistencia al ruido 10/10 Qué se dejó Palabras del juez, sin editar y en su inglés original. Errores leídos contra el tráfico −3 pts perdidos `umbrella_error_rate` R1 FAILR2 FAILR3 FAIL Cites 163 errors 'against every other customer' with no request volume, error rate or Stark comparison. Raw count without reference to traffic. Acción sobre Contoso −2.7 pts perdidos `contoso_action` R1 PASSR2 PARTIALR3 PARTIAL '🔴 1. Contoso data retention confirmation — deadline 11:00 today ... €72k ARR at stake ... draft a response to Sarah before the deadline.' Top priority with the 11:00 deadline, but never states that missing it pushes the renewal signature to the next approval window. Acción sobre Umbrella −2.3 pts perdidos `umbrella_action` R1 PARTIALR2 PARTIALR3 PASS Umbrella appears only under section 4 'unclear' ('Is this expected, being handled elsewhere, or a blind spot?'); absent from the today-priority list. Notices the anomaly but does not make investigating it a today action, so it is under-prioritized. Sin falsas prioridades −2 pts perdidos `no_false_priorities` R1 PARTIALR2 PARTIALR3 PARTIAL 'P1 — Close or update Acme task' ranked at the same P1 level as churn and above Umbrella (which is not in the list). One resolved item (Acme task housekeeping) receives moderate priority over legitimate work. Umbrella y churn priorizados −1.7 pts perdidos `umbrella_and_churn_high` R1 PARTIALR2 PARTIALR3 PASS Churn is P1 in today's list; Umbrella is only item 3 of the 'unclear' section. Only churn is appropriately prioritized as an action for today. Renovación bloqueada −1.7 pts perdidos `contoso_blocked` R1 PASSR2 PARTIALR3 PARTIAL 'Commercial terms agreed. However, Sarah Mitchell sent a legal question'; only '€72k ARR at stake'. Identifies the outstanding legal question but not the signature/approval-window consequence. Conversión del viernes no verificable −1 pts perdidos `friday_conversion_unknown` R1 PARTIALR2 PARTIALR3 PASS Section 1: 'Conversion metrics showed a drop on Friday ... Possibly noisy'; section 4: 'Julia noticed a significant conversion drop... It could be noisy traffic.' Hedged and listed as unclear, but never says the drop cannot be verified from the provided data and partly states it as observed. Causa de Umbrella sin cerrar −0.7 pts perdidos `umbrella_unknown_cause` R1 PARTIALR2 PASSR3 PASS 'Is this expected, being handled elsewhere, or a blind spot?' — asks whether it is known/handled, never states the cause is unknown. No invented cause, but the anomaly-versus-unknown-cause distinction is not explicit. Acción sobre Analytics v2 −0.7 pts perdidos `analytics_action` R1 PASSR2 PARTIALR3 PASS '🟠 2. Review Analytics v2 launch readiness (task due today)' ranked above churn and Umbrella, while stating 'Release moved to Wednesday'. Understands Wednesday but gives the release disproportionate priority. En qué se equivocó `MATERIAL_HALLUCINATION` -5 · Run 1 'Do Pied Piper and Hooli (combined €27k churned ARR per Friday's finance snapshot) fully account for the 1.3pp move' The finance snapshot gives €27k total churned ARR for the week; nothing attributes it to Pied Piper and Hooli. This invented attribution feeds directly into the churn breakdown the user must prepare for the board.
11 15	Gemma 4	70.7	6.5	0.6s	5.5s
Runs individuales Run 1 68.5 Run 2 68.5 Run 3 75.0 Velocidad TTFA 0.6s Latencia total 5.5s Mediana de tokens de salida 605 Desglose por dimensión Detección de acciones 15.3/25 Reconstrucción del estado 23.3/25 Priorización 12.5/15 Razonamiento con datos 3/15 Incertidumbre 6.5/10 Resistencia al ruido 10/10 Qué se dejó Palabras del juez, sin editar y en su inglés original. Acción sobre Umbrella −7 pts perdidos `umbrella_action` R1 FAILR2 FAILR3 FAIL Umbrella never mentioned; the metrics file is not used at all Anomalía de Umbrella detectada −5 pts perdidos `umbrella_detected` R1 FAILR2 FAILR3 FAIL anomaly missed Métricas de Umbrella citadas −4 pts perdidos `umbrella_metrics` R1 FAILR2 FAILR3 FAIL no supporting figures at all Errores leídos contra el tráfico −3 pts perdidos `umbrella_error_rate` R1 FAILR2 FAILR3 FAIL no metrics reasoning of any kind Acción sobre Contoso −2.7 pts perdidos `contoso_action` R1 PARTIALR2 PARTIALR3 PASS first item under High with the 11:00 deadline, but 'ready to renew pending a single legal clarification' states sequence, not jeopardy: nothing says what happens if 11:00 is missed Umbrella y churn priorizados −2.5 pts perdidos `umbrella_and_churn_high` R1 PARTIALR2 PARTIALR3 PARTIAL churn is a High item; Umbrella is entirely absent Causa de Umbrella sin cerrar −2 pts perdidos `umbrella_unknown_cause` R1 PARTIALR2 PARTIALR3 PARTIAL invents no cause, but expresses no uncertainty either - Umbrella is absent Renovación bloqueada −1.7 pts perdidos `contoso_blocked` R1 PARTIALR2 PARTIALR3 PASS 'pending a single legal clarification' - identifies the question, misses the signature or approval consequence Conversión del viernes no verificable −1.5 pts perdidos `friday_conversion_unknown` R1 PARTIALR2 PARTIALR3 PARTIAL 'currently unconfirmed if this was a data anomaly or a trend' - uncertainty noted, data gap not flagged En qué se equivocó Sin penalizaciones ni falsas acciones en ningún run.

Rango de runs: la diferencia entre el mejor y el peor run oficial del modelo. Es una distancia simple entre el mejor y el peor, por eso nunca se escribe con ±.
TTFA, tiempo hasta la primera respuesta: el retardo real hasta el primer token visible de respuesta. Los tokens de razonamiento no cuentan como respuesta.

// calidad vs velocidad

El modelo más inteligente no siempre es el más rápido

De los modelos cronometrados, GLM 5.3 Flash es el que mejor nota saca, 98,0, y tarda 118,8 s en empezar a responder. Gemma 4 es el más rápido: empieza en 0,6 s y saca 70,7. GLM 5.3 es el más lento, 181,6 s, con 97,5.

Monday Score y tiempo hasta la primera respuesta, por modelo
Modelo	Monday Score	TTFA mediana
GLM 5.3 Flash	98.0	118.8s
GLM 5.3	97.5	181.6s
DeepSeek V4.1 Flash	95.0	39.3s
Qwen 3.8 Flash	92.5	72.2s
DeepSeek V4 Flash	90.8	55.4s
DeepSeek V4.1 Flash (1017)	90.3	35.4s
MIMO v2.5	88.2	42.4s
GLM 5.2	84.3	2.7s
Qwen 3.6	82.8	0.8s
MiMo v2.6 Flash	82.7	40.9s
Gemma 4	70.7	0.6s

// lo que destacó

Curiosidades del benchmark

15 modelos, 45 runs, un juez. Los patrones que más llamaron la atención al leer los resultados.

GPT-6 Astra resolvió el lunes, y el mejor modelo abierto se quedó a dos puntos

GPT-6 Astra sacó 100,0 en sus tres runs, y Claude Opus 5 98,5 en las tres. El mejor modelo abierto, GLM 5.3 Flash, fue el siguiente con 98,0: tres runs con punto y medio de diferencia entre ellas, y puntuación completa en detección de acciones, reconstrucción del estado, priorización y resistencia al ruido.

Dónde perdió puntos Detectó la anomalía de Umbrella, pero nunca llegó a razonar los errores en relación con el volumen de peticiones.

98.0/100

GLM 5.3 Flash

run 198.5
run 297.0
run 398.5
rango1.5

Perfecto en cuatro de seis dimensiones

Una sola run no basta

Con una única run, GLM 5.2 parecería un modelo de 75 puntos o uno de 91. Por eso todo resultado oficial de MondayBench usa tres runs, y por eso la clasificación enseña el rango justo al lado de la nota.

DeepSeek V4 Flash

95.5 / 87.5 / 89.5 rango 8.0

GLM 5.2

87.0 / 75.0 / 91.0 rango 16.0

Algunos modelos leen la conversación y se pierden el negocio

Gemma entendió buena parte de la conversación, pero se perdió la señal más importante, escondida en las métricas de cliente. Umbrella no aparece en ninguna de sus tres runs: el fichero de métricas quedó sin usar.

Razonamiento con datos La reconstrucción del estado se mantuvo alta: siguió el hilo, simplemente no abrió la hoja de cálculo.

3/15

Razonamiento con datos

Gemma 470.7
runs que nombran Umbrella0/3

De los más rápidos, y el único con penalizaciones por alucinación

Qwen 3.6 fue uno de los modelos más rápidos del benchmark, pero también el único que recibió penalizaciones por alucinación material.

El escenario dice que el pricing propuesto es confidencial hasta que se apruebe y se anuncie públicamente. En dos de tres runs, Qwen 3.6 lo reescribió como si la confidencialidad terminase tras la revisión del miércoles, o como si el anuncio fuese inminente, y lo metió en la respuesta que le decía al usuario que enviara al cliente. Su tercera run enuncia la regla correctamente.

penalizaciones

ttfa0.8s
total6.2s
score82.8

La prueba

Qué recibieron, y qué tenían que deducir.

// el input

Esto es un problema de reconstrucción de estado

Un extracto de lo que vieron los modelos. El escenario completo está congelado y publicado junto a los resultados.

slack

#incidents Thu 09:48 · Marcus Webb

Rollback complete. Error rates are returning to normal.

#sales Fri 08:51 · Noah Williams

Contoso update: call went really well. Commercial terms are basically agreed.

#product Fri 09:36 · Sam Rivera

The export regression is more annoying than we thought. I’m proposing Wednesday instead of Monday.

#leadership Fri 11:42 · Daniel Foster

I’m slightly concerned about enterprise churn. The dashboard has it moving from 3.1% to 4.4%. … Would be good to understand what’s driving that before the board meeting next week.

tareas

Prioridad	Tarea	Responsable	Fecha
Urgent	Investigate Acme API failures caducada	You	Thursday
High	Confirm Contoso renewal next steps	You	Monday
High	Prepare Analytics v2 launch email caducada	You	Monday
Medium	Analyse enterprise churn	You	Tuesday

bandeja

Fri 16:18 · sarah@contoso.example

One remaining point before renewal

…our legal team flagged one remaining question regarding data retention. They need written confirmation that data deleted by an administrator is also removed from your disaster recovery backups within the retention period specified in the DPA. Could you confirm this for us by 11:00 Monday?

If we can’t get legal comfortable with this point before then, we’ll need to push the renewal signature into our next approval window.

métricas · últimas 24h

Cliente	Peticiones	Errores	p95	7d
Acme	482,140	8	312ms	+3%
Contoso	821,334	22	284ms	+7%
Umbrella	94,217	163	1,821ms	−41%
Stark Industries	1,482,012	74	298ms	+9%

// la plantilla de corrección

Lo que el modelo tenía que deducir

Cinco juicios deciden la mayor parte de la nota. Se publican junto al escenario, así que puedes juzgar por tu cuenta si el benchmark pregunta lo correcto.

01
Contoso
- Renovación de 72k € ARR.
- Bloqueo legal.
- Confirmación técnica por escrito antes de las 11:00.
Responder a la pregunta de retención de datos: confirmar con el responsable técnico si los datos que borra un administrador desaparecen también de los backups de recuperación ante desastres, y contestar antes de las 11:00.
02
Acme
- La lista de tareas aún lo marca como urgente.
- El incidente ya está resuelto.
No tratarlo como un incidente activo.
03
Analytics v2
- La lista de tareas dice lanzamiento el lunes.
- La información más reciente dice miércoles.
- El email de lanzamiento es de Julia.
No ejecutar las tareas de lanzamiento caducadas.
04
Umbrella
- Nadie lo menciona en Slack ni en email.
- La anomalía solo existe en las métricas.
Investigarlo hoy, pero sin inventarse una causa.
05
Churn
- El churn enterprise subió del 3,1% al 4,4%.
- Hay bajas conocidas, pero no evidencia suficiente para explicar toda la subida.
Investigar el desglose antes del consejo del martes, sin afirmar causalidad.

El método

Cómo se construye la nota, y cómo comprobarla.

// puntuación

Cómo funciona el Monday Score

Cien puntos repartidos en 6 dimensiones, y después penalizaciones. Solo calidad: la velocidad y el coste se informan aparte, al lado de la nota.

25 25 15 15 10 10

Detección de acciones ¿Encontró el trabajo que tenía que pasar hoy? 25
Reconstrucción del estado ¿Sabe qué es cierto ahora mismo? 25
Priorización ¿Es correcto el orden, y no asciende nada caducado? 15
Razonamiento con datos ¿Leyó los números, y los leyó bien? 15
Incertidumbre ¿Separa lo que sabe de lo que supone? 10
Resistencia al ruido ¿Se mantiene lejos del trabajo que ya está hecho? 10
total 100

El juez no pone una nota de 0 a 100 directamente

Clasifica criterios atómicos de uno en uno, 19 en la rúbrica 0.2, y cada veredicto lleva la evidencia en la que se apoya. Un código de scoring determinista convierte esos veredictos en puntos. Ningún modelo ve nunca un marcador acumulado.

PASS todos los puntos del criterio
PARTIAL la mitad
FAIL nada

Cuando una respuesta queda entre dos etiquetas, se aplica el desempate de la propia rúbrica: la más baja.

Penalizaciones

Se aplican sobre la nota de dimensiones, con un tope de −20 por run.

−5 Alucinación material Una afirmación relevante para el briefing que el material no sostiene.
−10 Acción prohibida Recomendar algo que el estado actual descarta explícitamente.
−5 Contradicción grave Contradecirse sobre el estado de un asunto importante.

Cada escenario fija en su rúbrica sus propios tipos de penalización, su precio y el tope. Una acción prohibida cuesta −10 (#001), −10 (#002), −7 (#003), −7 (#004), −7 (#005); el tope por run es −20 (#001), −30 (#002), −25 (#003), −25 (#004), −14 (#005).

ver_metodologia →

// procedencia

Exactamente qué produjo estos números

Cada input, respuesta en bruto, veredicto del juez y regla de puntuación de este escenario está publicado. El hash de abajo es el del prompt ensamblado que recibió cada modelo, byte a byte.

Escenario

monday-001

Versión del escenario

0.1

Rúbrica

0.2

Evaluador

evaluator-opus5-v0.1

Juez

claude-opus-5

Resultado generado

2026-10-19

Suite v1.14 · evidencia del tablero v1.13

SHA-256 del prompt

ed4d7beb1d7d1029c36eb8533e449027e0dc1a1047f8a38951a91781a0a5e398

// por qué lo hemos hecho

Los benchmarks son útiles,
pero lo importante es tu carga de trabajo

Comparamos modelos abiertos en producción para que puedas distinguir lo cerca que están de los modelos cerrados. MondayBench es cómo comprobamos si de verdad sirven antes de que lleguen ahí.

Explorar Helmcode Ver GitHub

El mismo lunes caóticopara 15 modelos

El resultado

La clasificación

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

Runs individuales

Velocidad

Desglose por dimensión

Qué se dejó

En qué se equivocó

El modelo más inteligente no siempre es el más rápido

Curiosidades del benchmark

El mismo lunes caótico
para 15 modelos

Los benchmarks son útiles,
pero lo importante es tu carga de trabajo