Nuevo: DeepSeek V4.1 Flash.La arquitectura construida para agentes, y los 890 bytes que cambian la factura.Explorar la pieza →
// mondaybench #003beta
El mismo lunes caótico para 15 modelos
Seis fuentes. Seis compromisos con fecha en una semana, tres de ellos esperando a la misma migración de tres horas, y un ingeniero reclamado por dos a la vez.
Una pregunta: ¿Encuentra el camino entre las dependencias?
// seis compromisos con fecha · una semana · 3 espera a la migración de billing
ahora · lunes 09:10
espera a la migración de billing
no le debe nada
01
El resultado
Quince modelos, 45 runs, un juez.
// resultados
La clasificación
El Monday Score mide solo calidad: cómo respondió cada modelo a «¿Encuentra el camino entre las dependencias?», criterio a criterio contra la rúbrica de este escenario. La velocidad va al lado y nunca se mezcla dentro.
Todos los modelosSolo modelos de pesos abiertos
monday-003 · 15 modelos, 3 runs cada uno
#
Modelo
Monday Score
Rango de runs
TTFA mediana
Latencia total
Ver detalle de
01
GPT-6 Astracerrado
100.0
0.0
—
—
Runs individuales
Run 1100.0
Run 2100.0
Run 3100.0
Velocidad
TTFA
—
Latencia total
—
Mediana de tokens de salida
—
Desglose por dimensión
Ruta crítica y dependencias 21/21
Asignación de recursos 25/25
Planificación y paralelismo 18/18
Calidad de la decisión 14/14
Reconstrucción del estado 10/10
Exactitud e incertidumbre 12/12
Qué se dejó
Puntuación completa en todos los criterios.
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
02
Claude Opus 5cerrado
98.3
5.0
—
—
Runs individuales
Run 195.0
Run 2100.0
Run 3100.0
Velocidad
TTFA
—
Latencia total
—
Mediana de tokens de salida
6,474
Desglose por dimensión
Ruta crítica y dependencias 21/21
Asignación de recursos 25/25
Planificación y paralelismo 18/18
Calidad de la decisión 14/14
Reconstrucción del estado 10/10
Exactitud e incertidumbre 10.3/12
Qué se dejó
Palabras del juez, sin editar y en su inglés original.
Los datos dados se respetan−1.7 pts perdidos
factual_plan_accuracy
R1 FAILR2 PASSR3 PASS
Uses multiple wrong factual-anchor deadlines: pricing_page is called 'deadline Wed 17:00' although the anchor is Thu 24 Sep 17:00, and onboarding_launch is called 'deadline Thu 12:00' although the anchor is Fri 25 Sep 12:00. PARTIAL allows one minor substitution; multiple substitutions fall to FAIL.
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
03
Claude Fable 5.1cerrado
96.7
5.0
—
—
Runs individuales
Run 1100.0
Run 295.0
Run 395.0
Velocidad
TTFA
—
Latencia total
—
Mediana de tokens de salida
6,713
Desglose por dimensión
Ruta crítica y dependencias 21/21
Asignación de recursos 25/25
Planificación y paralelismo 18/18
Calidad de la decisión 14/14
Reconstrucción del estado 10/10
Exactitud e incertidumbre 8.7/12
Qué se dejó
Palabras del juez, sin editar y en su inglés original.
Los datos dados se respetan−3.3 pts perdidos
factual_plan_accuracy
R1 PASSR2 FAILR3 FAIL
onboarding launch given 'due Thu 12:00' where it is 2026-09-25T12:00 (Friday), and the board pack described as 'well before Thu 10:00 / Friday board' where the deadline is 2026-09-25T10:00 (Friday)
POST-AUDIT CORRECTION PARTIAL -> FAIL (experiments/fable-5.1-full-mondaybench/AUDIT.md section 5). Original reason: two minor deadline substitutions on the same Thursday/Friday axis, neither altering the plan
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
0104
DeepSeek V4.1 Flash
96.3
2.5
81.4s
89.2s
Runs individuales
Run 195.5
Run 295.5
Run 398.0
Velocidad
TTFA
81.4s
Latencia total
89.2s
Mediana de tokens de salida
19,556
Desglose por dimensión
Ruta crítica y dependencias 21/21
Asignación de recursos 23.3/25
Planificación y paralelismo 18/18
Calidad de la decisión 14/14
Reconstrucción del estado 10/10
Exactitud e incertidumbre 10/12
Qué se dejó
Palabras del juez, sin editar y en su inglés original.
Nada inventado−2 pts perdidos
uncertainty_discipline
R1 PARTIALR2 PARTIALR3 PARTIAL
The response introduces extra coordination/merge uncertainty beyond what is materially established in the supplied evidence.
Most uncertainty is well handled, but one unsupported risk is added.
Plan B de la migración preparado−1.7 pts perdidos
elena_migration_fallback
R1 PARTIALR2 PARTIALR3 PASS
The response notes Elena's absence and a handoff, but does not fully operationalize the fallback path with the precision required by the PASS band.
Fallback handling is present but incomplete.
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
0205
DeepSeek V4.1 Flash (1017)
95.8
5.5
84.1s
92.7s
Runs individuales
Run 198.0
Run 297.0
Run 392.5
Velocidad
TTFA
84.1s
Latencia total
92.7s
Mediana de tokens de salida
18,030
Desglose por dimensión
Ruta crítica y dependencias 20.2/21
Asignación de recursos 23/25
Planificación y paralelismo 16.7/18
Calidad de la decisión 14/14
Reconstrucción del estado 10/10
Exactitud e incertidumbre 12/12
Qué se dejó
Palabras del juez, sin editar y en su inglés original.
Reservado a lo insustituible−2 pts perdidos
marcus_reserved_for_sso
R1 PASSR2 PARTIALR3 PARTIAL
'Remove onboarding instrumentation as a launch blocker and release Marcus's 3h hold'; 'Tell Marcus to stay exclusively on SSO'
Releases the hold and protects Marcus, but the stated ground is that SSO is the critical path, not that his work has no substitute; between labels, lower chosen.
Independent of engineering, but the approval pack and board non-revenue work are queued behind the page rather than starting now; between labels, lower chosen.
La aprobación bloquea la página−0.8 pts perdidos
pricing_dependency
R1 PASSR2 PASSR3 PARTIAL
'Packaging approval blocks the pricing page going public' but plan is 'pricing_page 3h, then packaging_approval_pack 1.5h' / 'build approval pack after page/mockups are available'
Gets the approval gate but never states the submission need not wait for the page because mockups are accepted; the plan sequences the pack after the page.
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
0306
DeepSeek V4 Flash
95.0
0.0
136.0s
143.0s
Runs individuales
Run 195.0
Run 295.0
Run 395.0
Velocidad
TTFA
136.0s
Latencia total
143.0s
Mediana de tokens de salida
21,307
Desglose por dimensión
Ruta crítica y dependencias 20.2/21
Asignación de recursos 20.8/25
Planificación y paralelismo 18/18
Calidad de la decisión 14/14
Reconstrucción del estado 10/10
Exactitud e incertidumbre 12/12
Qué se dejó
Palabras del juez, sin editar y en su inglés original.
Plan B de la migración preparado−4.2 pts perdidos
elena_migration_fallback
R1 PARTIALR2 FAILR3 FAIL
Elena's Wednesday-noon departure, the permission transfer and the Daniel fallback are absent; the risks cover the migration overrun but not who executes if she is gone
La aprobación bloquea la página−0.8 pts perdidos
pricing_dependency
R1 PARTIALR2 PASSR3 PASS
has the mockup route - 'Use design mockups for the approval pack if available so she does not wait for live screenshots' - but never states that packaging approval gates the public page
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
0407
GLM 5.3
94.8
5.0
253.3s
286.6s
Runs individuales
Run 198.0
Run 293.5
Run 393.0
Velocidad
TTFA
253.3s
Latencia total
286.6s
Mediana de tokens de salida
9,074
Desglose por dimensión
Ruta crítica y dependencias 20.2/21
Asignación de recursos 24.2/25
Planificación y paralelismo 16/18
Calidad de la decisión 14/14
Reconstrucción del estado 10/10
Exactitud e incertidumbre 10.5/12
Qué se dejó
Palabras del juez, sin editar y en su inglés original.
Lo independiente arranca ya−2 pts perdidos
pricing_board_parallel
R1 PARTIALR2 PARTIALR3 PARTIAL
the approval pack is scheduled AFTER the pricing page ('pricing page (3h) AM -> approval pack (1.5h) -> submit before 12:00'), which cannot start at 09:30 and submit before 12:00, and is the one ordering the mockup route exists to avoid; the board non-revenue pack is pushed to Tue-Wed and the revenue charts to Tuesday rather than started now
Los datos dados se respetan−0.8 pts perdidos
factual_plan_accuracy
R1 PASSR2 PARTIALR3 PASS
one substitution against factual_anchors: 'Onboarding launch (Julia, 2h, due Thu 12:00)'. The supplied deadline is 2026-09-25T12:00, which is FRIDAY. Everything else carries through - Atlas Wed 17:00, Contoso Tue 16:00 CET, all fourteen durations, the 30-minute walkthrough and handover, Marcus's Tuesday 13:00 start, Elena's Wednesday noon departure, every owner. The launch is scheduled Tue/Wed either way, so the slip alters nothing in the plan: PARTIAL, not FAIL
La aprobación bloquea la página−0.8 pts perdidos
pricing_dependency
R1 PASSR2 PASSR3 PARTIAL
the mockup route is unmistakable - 'mockups are acceptable per Priya - don't wait for the live page; submit approval pack before 12:00 today' - and the plan sequences pack, clearance, then page. But no sentence states the other half, that packaging approval is what gates the page going public; that direction is only implied by the ordering. The rubric's PARTIAL band is exactly 'the approval gate or the mockup route, not both'
Plan B de la migración preparado−0.8 pts perdidos
elena_migration_fallback
R1 PASSR2 PASSR3 PARTIAL
the transfer is booked - 'book 30-min Daniel handover Tue AM as insurance' - and Daniel is named as the fallback, but Elena's Wednesday-midday departure never appears anywhere, so the deadline that makes the handover urgent is missing. Scheduling it Tuesday happens to beat that deadline; recognising it is what the criterion asks for
Nada inventado−0.7 pts perdidos
uncertainty_discipline
R1 PASSR2 PARTIALR3 PASS
the risk list is strong and genuinely open, but two items are not in the sources. 'Confirm QA slot for Tue 09:00 (Sam said it's open)' attributes to Sam something he never says - he only states that QA needs the completed patch and that two hours should do it. And 'the export path that worked Friday' treats Julia's Friday run of the ordinary export as a possible route for the delegated-admin compliance export, which is a different export. Both are hedged rather than relied on, which is why this is PARTIAL and not FAIL
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
0508
Qwen 3.8 Flash
94.5
11.5
309.3s
327.2s
Runs individuales
Run 195.0
Run 2100.0
Run 388.5
Velocidad
TTFA
309.3s
Latencia total
327.2s
Mediana de tokens de salida
36,111
Desglose por dimensión
Ruta crítica y dependencias 21/21
Asignación de recursos 20.7/25
Planificación y paralelismo 16.8/18
Calidad de la decisión 14/14
Reconstrucción del estado 10/10
Exactitud e incertidumbre 12/12
Qué se dejó
Palabras del juez, sin editar y en su inglés original.
Plan B de la migración preparado−1.7 pts perdidos
elena_migration_fallback
R1 FAILR2 PASSR3 PASS
Elena's Wednesday-noon departure, the production-permission transfer and the Daniel migration fallback appear nowhere - not in the plan, not in the blocker table, and not in ten numbered risks
Ingeniero disputado resuelto−1.7 pts perdidos
scarce_resource_allocation
R1 PASSR2 PASSR3 PARTIAL
detects the contention outright - 'Marcus is the only person who can do the SSO compatibility patch, and he is also fastest on the Contoso permission patch' - and resolves it by sequencing him through both, on a reason that covers the order rather than the ownership: 'This is the fastest path to the Tuesday 16:00 contractual export'. Daniel is held as the billing backup only, never considered for the permission patch, and the compatibility work is pushed to 14:10 as a result
Las dos cadenas a la vez−1.2 pts perdidos
concurrent_sso_and_contoso
R1 PASSR2 PASSR3 PARTIAL
Julia's export does overlap Marcus's SSO work, but the two engineering items run one after the other through one person: permission patch 12:10-14:10, compatibility patch from 14:10
Reservado a lo insustituible−1 pts perdidos
marcus_reserved_for_sso
R1 PASSR2 PASSR3 PARTIAL
states the ground - 'Only Marcus can do it' - and releases the instrumentation, but the capacity that frees goes to the substitutable Contoso patch, which moves the rollout from an achievable Tuesday afternoon to 16:40
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
0609
MiMo v2.6 Flash
93.2
6.0
319.7s
379.5s
Runs individuales
Run 195.5
Run 289.5
Run 394.5
Velocidad
TTFA
319.7s
Latencia total
379.5s
Mediana de tokens de salida
15,896
Desglose por dimensión
Ruta crítica y dependencias 19.3/21
Asignación de recursos 22/25
Planificación y paralelismo 18/18
Calidad de la decisión 12.3/14
Reconstrucción del estado 9.5/10
Exactitud e incertidumbre 12/12
Qué se dejó
Palabras del juez, sin editar y en su inglés original.
Reservado a lo insustituible−3 pts perdidos
marcus_reserved_for_sso
R1 PARTIALR2 PARTIALR3 PARTIAL
Instrumentation closed as 'Not a launch blocker'; Marcus kept on compat/rollout; branch uniqueness only appears as an unknown: 'whether anyone outside Marcus/Daniel can support the SSO patch'
Frees and protects Marcus but treats the no-substitute fact as an open question rather than the ground; lower label.
La aprobación bloquea la página−1.7 pts perdidos
pricing_dependency
R1 PASSR2 PARTIALR3 PARTIAL
'Pricing page public | Tue PM (post-approval)'; pack 12:10-13:40 after the page, 'arrives after 12:00 -> clears Tuesday morning'; mockups only in risk 6 'could also submit a mockup-only pack'
Gate implied and mockups mentioned, but the recommended plan makes the submission wait for the page; between labels, lower chosen.
Lo ruidoso no es lo que bloquea−0.8 pts perdidos
formatting_urgent_not_blocking
R1 PASSR2 PARTIALR3 PASS
'Julia starts the date-format fix for Contoso's Tuesday demo - no dependencies, gets Peter's request off the board'
Handled without displacing committed work, but never states that the 'broken export' escalation is a cosmetic preference / the file imports fine.
Lista de tareas caducada corregida−0.8 pts perdidos
stale_task_list_overridden
R1 PASSR2 PARTIALR3 PASS
Overrides Security review and instrumentation; Contoso 'investigate broken export' and 'pricing page before approval meeting' not overridden (plan keeps page-first)
Only two of the four stale urgent entries overridden.
Estado del onboarding al día−0.5 pts perdidos
onboarding_state_reconstructed
R1 PARTIALR2 PASSR3 PASS
'onboarding instrumentation is not a launch blocker (Julia confirmed)'; 'Julia -> onboarding_launch (2h) - due Friday, independent'
Instrumentation correct and launch with Julia, but never states the core flow is launch-ready or the launch-support handover; partly right.
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
0710
GLM 5.3 Flash
92.8
19.0
120.8s
145.9s
Runs individuales
Run 197.5
Run 281.0
Run 3100.0
Velocidad
TTFA
120.8s
Latencia total
145.9s
Mediana de tokens de salida
7,349
Desglose por dimensión
Ruta crítica y dependencias 21/21
Asignación de recursos 22.3/25
Planificación y paralelismo 16.8/18
Calidad de la decisión 13.2/14
Reconstrucción del estado 10/10
Exactitud e incertidumbre 9.5/12
Qué se dejó
Palabras del juez, sin editar y en su inglés original.
Los datos dados se respetan−2.5 pts perdidos
factual_plan_accuracy
R1 PARTIALR2 FAILR3 PASS
two substituted deadlines, both used as planning targets: 'onboarding launch prep (deadline Thu 12:00)' - it is Friday 12:00, repeated as 'Thu deadline' in the parallel-work list - and 'pricing page (Wed 17:00 deadline)' - it is Thursday 17:00
Ingeniero disputado resuelto−1.7 pts perdidos
scarce_resource_allocation
R1 PASSR2 PARTIALR3 PASS
detects it - 'Marcus is the shared resource across both chains' - and prices the substitute as a contingency: 'if Marcus slips, Daniel takes the permission patch (3.5h + 0.5h Marcus walkthrough)'. But the substitutable work stays with Marcus and the only reason offered is the ordering one, 'earlier external deadline'; why Marcus rather than Daniel is never argued, and the rollout moves out to 15:30-16:30
Las dos cadenas a la vez−1.2 pts perdidos
concurrent_sso_and_contoso
R1 PASSR2 PARTIALR3 PASS
'permission patch 12:00-14:00, then compatibility patch 14:00-17:30 + Tue 13:00-13:30' - the two chains run one after the other through one person
Reservado a lo insustituible−1 pts perdidos
marcus_reserved_for_sso
R1 PASSR2 PARTIALR3 PASS
'Release the instrumentation hold' and 'only Marcus knows the account-mapping branch', but the freed capacity goes to the Contoso patch at 12:00-14:00
Lo ruidoso no es lo que bloquea−0.8 pts perdidos
formatting_urgent_not_blocking
R1 PASSR2 PARTIALR3 PASS
keeps the formatter with Julia and off the dated chain - Chain A contains only the permission patch - but never characterises the format request as cosmetic or the export as working
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
0811
MIMO v2.5
90.3
11.5
139.1s
167.8s
Runs individuales
Run 192.5
Run 295.0
Run 383.5
Velocidad
TTFA
139.1s
Latencia total
167.8s
Mediana de tokens de salida
15,785
Desglose por dimensión
Ruta crítica y dependencias 18.5/21
Asignación de recursos 22.3/25
Planificación y paralelismo 16.8/18
Calidad de la decisión 12.3/14
Reconstrucción del estado 10/10
Exactitud e incertidumbre 10.3/12
Qué se dejó
Palabras del juez, sin editar y en su inglés original.
La aprobación bloquea la página−2.5 pts perdidos
pricing_dependency
R1 PARTIALR2 PARTIALR3 PARTIAL
'Page can't go public until approval clears, but build can start' gives the gate, but the plan is 'pricing page now -> approval pack' and the mockup route is never used
Los datos dados se respetan−1.7 pts perdidos
factual_plan_accuracy
R1 FAILR2 PASSR3 PASS
two substituted deadlines, both used to compute the buffers it reports: 'Billing schema migration | 3h | Wed 15:00' - the stated deadline is Thursday 15:00 - and 'Packaging page build | Wed EOD' with 'Pricing page live | Wed AM | Wed EOD', where the page is due Thursday 17:00
Lo ruidoso no es lo que bloquea−1.7 pts perdidos
formatting_urgent_not_blocking
R1 PASSR2 PARTIALR3 PARTIAL
handles the formatter correctly - Julia, 2h, independent, 'Decouples the date fix from the permission fix' - but never states that the reported breakage is cosmetic or that the file imports
Ingeniero disputado resuelto−1.7 pts perdidos
scarce_resource_allocation
R1 PASSR2 PASSR3 PARTIAL
detects it - 'Marcus is the shared resource between the Contoso permission patch and the SSO compatibility patch' - and gives a reason for the order, 'its deadline has less float'. But Daniel is used only as the migration backup, never considered for the patch, and the ownership choice is never argued
Las dos cadenas a la vez−1.2 pts perdidos
concurrent_sso_and_contoso
R1 PASSR2 PASSR3 PARTIAL
'I am placing the Contoso permission patch first' - the two chains run through Marcus one after the other while Daniel is free
Reservado a lo insustituible−1 pts perdidos
marcus_reserved_for_sso
R1 PASSR2 PASSR3 PARTIAL
declares the instrumentation not launch-blocking but then schedules Marcus on it 09:15-12:15 as 'fill work', and hands him the substitutable Contoso patch as well
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
0912
GLM 5.2
87.3
14.0
40.5s
64.3s
Runs individuales
Run 186.0
Run 295.0
Run 381.0
Velocidad
TTFA
40.5s
Latencia total
64.3s
Mediana de tokens de salida
4,420
Desglose por dimensión
Ruta crítica y dependencias 17.8/21
Asignación de recursos 19.7/25
Planificación y paralelismo 15.7/18
Calidad de la decisión 14/14
Reconstrucción del estado 10/10
Exactitud e incertidumbre 10.2/12
Qué se dejó
Palabras del juez, sin editar y en su inglés original.
Ingeniero disputado resuelto−3.3 pts perdidos
scarce_resource_allocation
R1 PARTIALR2 PASSR3 PARTIAL
recognises the contention - 'Marcus is the single point of failure for SSO compat patch, contoso_permission_patch, and SSO rollout' - but never engages the substitute for the substitutable item: Daniel appears only as the migration backup, and the stated reason is 'his module, fastest path' rather than a comparison
La aprobación bloquea la página−2.5 pts perdidos
pricing_dependency
R1 PARTIALR2 PARTIALR3 PARTIAL
'pricing_page public | packaging committee approval' gives the gate, but the pack is scheduled for 'Tuesday morning' after the page is built and Priya's mockup line is never used
Las dos cadenas a la vez−2.3 pts perdidos
concurrent_sso_and_contoso
R1 PARTIALR2 PASSR3 PARTIAL
'12:30-14:30: contoso_permission_patch (2h)... 14:30-17:30: begin API compatibility patch' - the two chains are serialised through one person
Reservado a lo insustituible−2 pts perdidos
marcus_reserved_for_sso
R1 PARTIALR2 PASSR3 PARTIAL
'Marcus's 3h held capacity is released to SSO' and 'Nobody else knows the account-mapping branch', but the freed capacity then goes to the Contoso patch and pushes the compatibility work into Tuesday
La fecha más temprana es real−1 pts perdidos
earliest_feasible_delivery
R1 PASSR2 PASSR3 FAIL
'SSO production rollout: Wed 09:00-10:00 (Tue evening too tight given Marcus's 13:00 start; Wed morning is clean)' and 'Enterprise SSO delivered: Wed ~10:00'. Tuesday 14:00 is reachable; the answer key does not credit Wednesday presented as the earliest when Tuesday is available. The Wednesday is a consequence of its own allocation, which is priced separately
Los datos dados se respetan−0.8 pts perdidos
factual_plan_accuracy
R1 PASSR2 PARTIALR3 PASS
one substitution: the delivery table reads 'Billing migration + backfill | Wed 15:00'. The stated external deadline is Thursday 2026-09-24 15:00. Its own plan lands the migration Monday, so nothing downstream moves
Cadena de SSO reconstruida−0.7 pts perdidos
sso_chain
R1 PASSR2 PASSR3 PARTIAL
the four SSO steps are in order, but the chain is written as 'billing_schema_migration -> billing_backfill -> api_compatibility_patch -> ...', inserting the backfill as a prerequisite of the patch. The dependency table below it says the patch is blocked by the migration alone, so the response contradicts itself on the point
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
13
Gemini 3.8 Flash (High)cerrado
84.7
9.0
—
30.0s (cronometrado por la ruta)
Runs individuales
Run 181.5
Run 282.0
Run 390.5
Velocidad
TTFA
—
Latencia total
30.0s · cronometrado por la ruta
Mediana de tokens de salida
—
Desglose por dimensión
Ruta crítica y dependencias 18.2/21
Asignación de recursos 18.7/25
Planificación y paralelismo 15.7/18
Calidad de la decisión 12.3/14
Reconstrucción del estado 8.5/10
Exactitud e incertidumbre 11.3/12
Qué se dejó
Palabras del juez, sin editar y en su inglés original.
Ingeniero disputado resuelto−3.3 pts perdidos
scarce_resource_allocation
R1 PARTIALR2 PARTIALR3 PASS
Marcus does 'Contoso permission fix first (2h), then SSO compatibility patch'; risk: 'Marcus is the sole engineer ... and owns both the Contoso fix and SSO'. Daniel is only 'Available for routine tasks or sprint work'.
Recognises Marcus's contention but resolves it by keeping him on both with no weighing of the Daniel substitute and no reason for the choice.
Reservado a lo insustituible−3 pts perdidos
marcus_reserved_for_sso
R1 PARTIALR2 PARTIALR3 PARTIAL
'onboarding_instrumentation (3h) is not a launch blocker ... must be dropped from his schedule', but Marcus's afternoon goes to the permission patch first, pushing the compat patch into Tuesday.
Frees the instrumentation hours but does not protect Marcus's capacity for the work only he can do.
Las dos cadenas a la vez−2.3 pts perdidos
concurrent_sso_and_contoso
R1 PARTIALR2 PARTIALR3 PASS
'Marcus (12:15-14:15): Execute contoso_permission_patch' then 'Marcus (14:15-17:30): Begin api_compatibility_patch'.
Serialises the two paths through Marcus, so SSO waits on Contoso.
Cadena de bloqueo de Contoso−2 pts perdidos
contoso_blocker_chain
R1 PARTIALR2 PARTIALR3 PASS
Chain 'billing_schema_migration -> contoso_permission_patch (Marcus, 2h) -> contoso_compliance_export (Julia, 1h)', but plan: 'Julia works on contoso_export_formatter ... so the date format change is ready before generating the compliance export' and Julia runs the export 'using the updated exporter'.
Permission fix is correctly the prerequisite, but the formatter is sequenced as an upstream step of the compliance export, entangling the two; lower label taken.
Lo ruidoso no es lo que bloquea−1.7 pts perdidos
formatting_urgent_not_blocking
R1 PARTIALR2 PASSR3 PARTIAL
'Contoso Export "Broken": Export works; file generation was only blocked for delegated admins via permission check.' Formatter listed for 'Peter's Tuesday demo'.
Right conclusion and handled without displacing work, but explains the 'broken' escalation via the permission issue rather than identifying it as a cosmetic date-format preference.
Estado del onboarding al día−1 pts perdidos
onboarding_state_reconstructed
R1 PARTIALR2 PASSR3 PARTIAL
Only 'onboarding_instrumentation (3h) is not a launch blocker (per Julia/Sam)'. No mention of the core flow being launch-ready or launch support moving to Julia.
Partly right: one of three elements.
La aprobación bloquea la página−0.8 pts perdidos
pricing_dependency
R1 PASSR2 PASSR3 PARTIAL
'Priya's committee accepts design mockups (live screenshots are not required)'; pack 'followed by building the pricing_page'. Nowhere says the page cannot go public until approval clears.
Gets the mockup route but never states that packaging approval gates the public pricing page.
Nada inventado−0.7 pts perdidos
uncertainty_discipline
R1 PASSR2 PARTIALR3 PASS
'(Parallel prerequisite: Julia completes contoso_export_formatter ... so the export includes the requested European date format)' — a dependency of the compliance export not in the sources; risks otherwise sound (QA findings, committee discretion).
One unsupported item: an invented prerequisite on the compliance delivery.
Los dos problemas de Contoso, separados−0.5 pts perdidos
contoso_state_separated
R1 PASSR2 PARTIALR3 PASS
Says the date format is 'a non-breaking date format preference', yet Path A lists the formatter as a 'Parallel prerequisite' of the compliance export and Earliest Delivery merges 'Contoso Compliance Export & Demo Formatter'.
Partly conflates the two by putting the formatter on the dated-delivery path.
En qué se equivocó
Sin penalizaciones ni falsas acciones en ningún run.
1014
Qwen 3.6
65.5
13.0
0.9s
14.8s
Runs individuales
Run 164.5
Run 259.5
Run 372.5
Velocidad
TTFA
0.9s
Latencia total
14.8s
Mediana de tokens de salida
1,872
Desglose por dimensión
Ruta crítica y dependencias 14.3/21
Asignación de recursos 20.5/25
Planificación y paralelismo 13.3/18
Calidad de la decisión 9/14
Reconstrucción del estado 8.2/10
Exactitud e incertidumbre 4.2/12
Qué se dejó
Palabras del juez, sin editar y en su inglés original.
La aprobación bloquea la página−4.2 pts perdidos
pricing_dependency
R1 FAILR2 PARTIALR3 FAIL
'Sarah: packaging_approval_pack (1.5h). Independent.' and 'Sarah: pricing_page (3h). Independent.' Neither the approval gate nor the mockup allowance appears
Los datos dados se respetan−3.3 pts perdidos
factual_plan_accuracy
R1 FAILR2 FAILR3 PASS
three substitutions. 'Marcus is available 09:00-13:00' is written into the Monday plan - that is his Tuesday window; Monday he is available 09:00-17:30. 'Daniel to start the contoso_permission_patch (3.5 hours total, including Marcus sync)' folds the half-hour walkthrough into Daniel's own estimate. And the tenant-owner fallback is offered without the fact that she is on leave until October
Plan B de la migración preparado−2.5 pts perdidos
elena_migration_fallback
R1 PARTIALR2 FAILR3 PASS
Elena's Wednesday-noon departure, the production-permission transfer and the Daniel migration fallback are all absent; the only guidance is 'she must complete this by Tuesday EOD latest'
Lo ruidoso no es lo que bloquea−2.5 pts perdidos
formatting_urgent_not_blocking
R1 PARTIALR2 PARTIALR3 PARTIAL
'Independent of backend permission fixes. Can be done Monday' keeps it off the committed work, but the response never characterises it as a preference against a working export
Lista de tareas caducada corregida−2.5 pts perdidos
stale_task_list_overridden
R1 PARTIALR2 PARTIALR3 PARTIAL
the Contoso ticket is split into its two real items, but Security is left as something to confirm, the instrumentation is not addressed, and the pricing entry is untouched
La fecha más temprana es real−2.5 pts perdidos
earliest_feasible_delivery
R1 FAILR2 FAILR3 PARTIAL
'Enterprise SSO (Wednesday EOD): Earliest: Wednesday EOD.' Tuesday 14:00 is reachable, and the response's own reason for Wednesday is a Monday it chose to leave idle
El lunes, bien ordenado−2.3 pts perdidos
monday_plan
R1 PARTIALR2 PARTIALR3 PASS
the handoff sequencing contradicts itself - Daniel is told to work 13:00-17:30 while the Marcus walkthrough is described as 'likely sequential' after the four-hour patch
Las dos cadenas a la vez−2.3 pts perdidos
concurrent_sso_and_contoso
R1 PASSR2 PARTIALR3 PARTIAL
Daniel and Julia do work the Contoso chain while SSO waits, but the SSO patch is deferred to 'Tue PM/Wed AM' rather than run alongside
Reservado a lo insustituible−2 pts perdidos
marcus_reserved_for_sso
R1 PARTIALR2 PARTIALR3 PASS
keeps Marcus on the SSO work and cites 'Marcus's specific code ownership', but never releases the three hours he is holding for the instrumentation
Nada inventado−2 pts perdidos
uncertainty_discipline
R1 PARTIALR2 PARTIALR3 PARTIAL
the risk section is otherwise sound, but the plan rests on an invented two-hour walkthrough that the same response contradicts
El consejo espera al backfill−1.5 pts perdidos
board_dependency
R1 FAILR2 PARTIALR3 PASS
the backfill appears nowhere; the board revenue dependency is not raised at all
Estado del SSO al día−1.3 pts perdidos
sso_state_reconstructed
R1 PARTIALR2 PASSR3 PARTIAL
the chain and the Wednesday commitment are right; Security is left unresolved
Seguridad ya está cerrado−1 pts perdidos
security_state_stale
R1 PARTIALR2 PASSR3 PARTIAL
'Assume approved... but Noah/Product must confirm with Maya if there is any ambiguity', and the risk section still asks whether the patch touches the auth flow
Estado del onboarding al día−0.5 pts perdidos
onboarding_state_reconstructed
R1 PASSR2 PARTIALR3 PASS
'The task list says Marcus owns onboarding launch support. Julia owns the flow' gets the ownership move, but the instrumentation status is never stated
En qué se equivocó
MATERIAL_HALLUCINATION-5 · Run 2
'If the permission patch isn't done by Monday EOD, Julia can still generate the file using the tenant owner account (as per her earlier note: "Their tenant owner account works").'
Anja's Monday 07:52 email states that only the tenant owner account can produce the export and that she is on leave until October. The response offers that account as the fallback for a contractual Tuesday 16:00 delivery without the fact that removes it, and additionally attributes Rachel's line to Julia.
MAJOR_PLANNING_ERROR-7 · Run 3
'Contoso Sync: Daniel needs 3.5h. If Marcus syncs with Daniel at 09:30, Daniel can work 10:00-13:30. This works.' against 'Elena finishes migration ~12:30-13:30. Marcus can start patch ~13:30.'
The permission patch is scheduled to start at 10:00 and finish at 13:30, overlapping the schema migration it depends on. Marcus states in #support-escalations that the patch sits on the same account-mapping layer and can only go in after the migration lands; this run never records that dependency.
1115
Gemma 4
65.3
8.0
0.6s
7.7s
Runs individuales
Run 170.0
Run 264.0
Run 362.0
Velocidad
TTFA
0.6s
Latencia total
7.7s
Mediana de tokens de salida
878
Desglose por dimensión
Ruta crítica y dependencias 14.5/21
Asignación de recursos 19/25
Planificación y paralelismo 12.2/18
Calidad de la decisión 9.3/14
Reconstrucción del estado 8/10
Exactitud e incertidumbre 7/12
Qué se dejó
Palabras del juez, sin editar y en su inglés original.
Ingeniero disputado resuelto−5 pts perdidos
scarce_resource_allocation
R1 PASSR2 FAILR3 PARTIAL
'Direct Marcus to stop working on onboarding instrumentation and prioritize the contoso_permission_patch' - the contested engineer keeps the one item that has a substitute, and Daniel does not appear anywhere in the plan
El lunes, bien ordenado−3.5 pts perdidos
monday_plan
R1 PARTIALR2 PARTIALR3 PARTIAL
five ordered instructions but no clock times, and the reassignment is action 1 while starting the migration is action 4
La aprobación bloquea la página−3.3 pts perdidos
pricing_dependency
R1 FAILR2 PARTIALR3 PARTIAL
pricing appears only as 'Ensure she is working on the pricing_page and packaging_approval_pack to hit the 12:00 committee cutoff tomorrow'. No approval gate on the public page, and no use of the mockup allowance
La fecha más temprana es real−3 pts perdidos
earliest_feasible_delivery
R1 FAILR2 FAILR3 FAIL
'Enterprise SSO: Wednesday EOD (matches Atlas commitment, provided Marcus is not further delayed by the Tuesday technical session)'. Tuesday 14:00 is reachable and no schedule is offered
Seguridad ya está cerrado−2.5 pts perdidos
security_state_stale
R1 FAILR2 PARTIALR3 FAIL
'Check the status of the Security Review on the release checklist. If it is still outstanding, I must resolve this to prevent a late-week stall', with 'We do not know why it is outstanding or how long it will take to clear'
Lista de tareas caducada corregida−2.5 pts perdidos
stale_task_list_overridden
R1 PARTIALR2 PARTIALR3 PARTIAL
the instrumentation is cleared and the Contoso ticket split, but Security is re-raised as an open gate and the pricing entry is untouched
Las dos cadenas a la vez−2.3 pts perdidos
concurrent_sso_and_contoso
R1 PASSR2 PARTIALR3 PARTIAL
Marcus is given the permission patch and then the compatibility patch, so the two chains run one after the other
Estado del SSO al día−2 pts perdidos
sso_state_reconstructed
R1 PARTIALR2 PARTIALR3 PARTIAL
chain outstanding and Wednesday intact, but Security is reported as unknown when it is closed
Nada inventado−2 pts perdidos
uncertainty_discipline
R1 PARTIALR2 PARTIALR3 PARTIAL
the resource risk is named accurately, but a settled fact is filed as unknown: 'The status of the outstanding security review for SSO is unknown'
Martes 16:00 comprometido−1.3 pts perdidos
contoso_compliance_is_urgent
R1 PARTIALR2 PASSR3 PARTIAL
'ensure Contoso's Tuesday deadline is met' and 'Contoso Compliance Export: Tuesday afternoon' - the commitment is named but left undated, and its own estimate could fall after 16:00
Reservado a lo insustituible−1 pts perdidos
marcus_reserved_for_sso
R1 PASSR2 PARTIALR3 PASS
takes him off the instrumentation but hands him the substitutable Contoso work, so the capacity freed does not go to the work only he can do
Lo ruidoso no es lo que bloquea−0.8 pts perdidos
formatting_urgent_not_blocking
R1 PASSR2 PARTIALR3 PASS
the fix goes to Julia in parallel and displaces nothing, but 'low-complexity task for a high-value account' stops short of saying the export works or the request is cosmetic
Cadena de SSO reconstruida−0.7 pts perdidos
sso_chain
R1 PASSR2 PASSR3 PARTIAL
the four SSO steps are in order, but the chain reads 'Elena: Billing schema migration (3h) -> Elena: Reconciliation backfill (1.5h) -> Marcus: Contoso permission patch AND SSO compatibility patch -> QA -> Marcus rollout', and the blocker list repeats it: 'SSO Compatibility Patch: Blocked by Elena's schema migration and backfill'. The backfill gates the board revenue charts, not the patch, and the insertion adds 90 minutes to the path
En qué se equivocó
PROHIBITED_ACTION-7 · Run 1
'Unblock SSO (Immediate): Check the status of the Security Review mentioned in Friday's notes. If it is still outstanding, I must escalate/resolve it to prevent a late-week stall.'
Maya's Friday 16:48 email closes the review for the current scope and exempts permission-check and configuration fixes from re-review. The response directs work against a gate that is shut and, in the risks, makes clearing it a condition of the rollout.
PROHIBITED_ACTION-7 · Run 3
'Unblock SSO (Immediate): Check the status of the Security Review on the release checklist. If it is still outstanding, I must resolve this to prevent a late-week stall.'
Maya's Friday 16:48 email closes the review for the current scope. The response directs work against a gate that is shut and reports its status as unknown in the risks, spending product time on a precondition that has already been met.
Rango de runs: la diferencia entre el mejor y el peor run oficial del modelo. Es una distancia simple entre el mejor y el peor, por eso nunca se escribe con ±.
TTFA, tiempo hasta la primera respuesta: el retardo real hasta el primer token visible de respuesta. Los tokens de razonamiento no cuentan como respuesta.
// calidad vs velocidad
El modelo más inteligente no siempre es el más rápido
De los modelos cronometrados, DeepSeek V4.1 Flash es el que mejor nota saca, 96,3, y tarda 81,4 s en empezar a responder. Gemma 4 es el más rápido: empieza en 0,6 s y saca 65,3. MiMo v2.6 Flash es el más lento, 319,7 s, con 93,2.
Monday Score y tiempo hasta la primera respuesta, por modelo
Modelo
Monday Score
TTFA mediana
DeepSeek V4.1 Flash
96.3
81.4s
DeepSeek V4.1 Flash (1017)
95.8
84.1s
DeepSeek V4 Flash
95.0
136.0s
GLM 5.3
94.8
253.3s
Qwen 3.8 Flash
94.5
309.3s
MiMo v2.6 Flash
93.2
319.7s
GLM 5.3 Flash
92.8
120.8s
MIMO v2.5
90.3
139.1s
GLM 5.2
87.3
40.5s
Qwen 3.6
65.5
0.9s
Gemma 4
65.3
0.6s
// lo que destacó
Curiosidades del benchmark
Cada cifra de abajo se puede comprobar contra la clasificación, la matriz de criterios o los veredictos publicados en esta misma página.
01
11 / 45
runs no llegaron a mover las dos cadenas a la vez
Marcus
Once planes pusieron en cola, detrás de un solo ingeniero, los dos plazos que lo reclamaban
Marcus es el dueño por defecto de tres tareas y el único posible de dos. La tercera —el parche de permisos de Contoso— tiene sustituto con nombre: Daniel, que estuvo en el modelo de permisos hace dos semanas, a cambio de hora y media de su tiempo y media hora de Marcus para el traspaso. Once runs pasaron las dos cadenas por Marcus una detrás de otra mientras Daniel tenía la semana vacía. Las fuentes dicen qué sabe hacer cada uno y dejan que el modelo decida quién hace qué.
02
27 / 45
runs vieron las dos mitades del bloqueo
Precios
Un plan que se bloquea a sí mismo, dicho en dos frases seguidas
Sarah quiere montar el pack de aprobación de packaging con capturas de la página de precios acabada, y la página no puede publicarse hasta que esa aprobación pase. Nadie en el escenario se da cuenta, y la salida es una línea del checklist de Priya: se aceptan mockups de diseño. Veintisiete runs de cuarenta y cinco enunciaron el bloqueo y usaron la vía del mockup; tres no hicieron ni lo uno ni lo otro, y con ellas se va la fecha del jueves.
03
81.0 – 100.0
tres runs, el mismo prompt
GLM 5.3 Flash
La dispersión de un solo modelo supera la distancia entre el primero y el decimotercero
El primero y el decimotercero de esta clasificación están a 15,3 puntos. Las tres runs de GLM 5.3 Flash están a diecinueve de distancia entre sí, con los mismos bytes: un 100,0 perfecto, un 97,5 y un 81,0 que adelanta el lanzamiento de onboarding del viernes al jueves y luego encola las dos cadenas en un solo ingeniero. A Qwen 3.8 Flash le pasó lo mismo: 95,0 y 100,0, y luego un 88,5. DeepSeek V4 Flash sacó 95,0 tres veces sin moverse y quedó por encima de los dos. Lee cada nota junto con la columna de rango que tiene al lado.
02
La prueba
Qué recibieron, y qué tenían que deducir.
// la prueba
Esto es un problema de dependencias
Seis ficheros corrientes: Slack, email, notas de reunión, una lista de tareas del viernes y dos CSV. Duraciones, responsables, plazos y quién sabe hacer qué están dichos con todas las letras. Este dibujo no se le da al modelo en ningún momento.
Qué tiene que pasar antes que qué
solo esa persona puede hacerlo
tiene sustituto con nombre
9 dependencias. Cada una aparece una sola vez, en un hilo de Slack, en un email o en una línea de las notas, y ninguna fuente enuncia dos juntas.
La frase que ninguna fuente escribe
Marcus
Parche de compatibilidad 4h · solo esa persona puede hacerlo
Despliegue a producción 1h · solo esa persona puede hacerlo
Permisos de Contoso 2h · Daniel 3.5h + 30min
Marcus es el dueño por defecto de tres tareas y el único posible de dos. La tercera tiene sustituto, y moverla cuesta hora y media del tiempo de Daniel más media hora de Marcus para el traspaso. Con ese cambio se cumplen los dos compromisos con fecha, algo que el material no dice en ningún sitio.
Además tiene 3 horas reservadas para la instrumentación de onboarding, que la lista del viernes sigue llamando bloqueante y que Julia liberó esa misma tarde.
Un plan que se cierra sobre sí mismo
Sarah planea montar el pack de aprobación con capturas de la página de precios acabada.
La página no puede publicarse hasta que el comité de packaging la apruebe.
El checklist de Priya acepta mockups de diseño. Nunca hicieron falta capturas de una página en vivo.
Qué pasó
34de 45 runs oficialesmovieron las dos cadenas a la vez
36de 45 runs oficialesresolvieron del todo al ingeniero disputado
27de 45 runs oficialesvieron las dos mitades del bloqueo de precios
// la plantilla de corrección
Qué hace una respuesta correcta
01
Arrancar ya la migración del esquema de facturación de Elena, de tres horas. Es la raíz común de la cadena de SSO, del arreglo de Contoso y de las gráficas de ingresos del consejo, y nada de lo que cuelga de ella puede empezar antes.
02
Pasar el parche de permisos de Contoso a Daniel, tras un traspaso de 30 minutos con Marcus, y dejar a Marcus en el parche de compatibilidad y el rollout de SSO, que solo puede hacer él. Así las dos cadenas avanzan a la vez.
03
La exportación de cumplimiento de Contoso puede estar el lunes a las 17:00, cerca de un día antes de su límite del martes a las 16:00. El SSO no puede terminar antes del martes a las 14:00, porque Marcus está en la sesión de Atlas hasta las 13:00; aun así queda un día antes del miércoles a las 17:00.
04
Montar el pack de aprobación de packaging con mockups de diseño, que el checklist de Priya acepta, para que la aprobación y la página de precios del jueves dejen de esperarse la una a la otra.
05
Soltar lo caducado: la revisión de Seguridad ya está cerrada, la instrumentación de onboarding no hace falta para el lanzamiento, y la petición de formato de fecha de Contoso va a Julia sin confundirla con el defecto real de cumplimiento.
Cien puntos repartidos en 6 dimensiones, y después penalizaciones. Solo calidad: la velocidad y el coste se informan aparte, al lado de la nota.
212518141012
Ruta crítica y dependencias¿Deduce qué tiene que pasar antes que qué?21
Asignación de recursos¿Deja a la persona insustituible en el trabajo insustituible?25
Planificación y paralelismo¿El plan aprovecha el día o lo encola?18
Calidad de la decisión¿Actúa sobre el bloqueo real aunque otro haga más ruido?14
Reconstrucción del estado¿Sabe qué es cierto ahora mismo?10
Exactitud e incertidumbre¿Arrastra bien los datos que le dan, y para donde para la evidencia?12
total100
El juez no pone una nota de 0 a 100 directamente
Clasifica criterios atómicos de uno en uno, 21 en la rúbrica 0.3, y cada veredicto lleva la evidencia en la que se apoya. Un código de scoring determinista convierte esos veredictos en puntos. Ningún modelo ve nunca un marcador acumulado.
PASStodos los puntos del criterio
PARTIALla mitad
FAILnada
Cuando una respuesta queda entre dos etiquetas, se aplica el desempate de la propia rúbrica: la más baja.
Penalizaciones
Se aplican sobre la nota de dimensiones, con un tope de −25 por run.
−5Alucinación materialUna afirmación relevante para el briefing que el material no sostiene.
−7Acción prohibidaRecomendar algo que el estado actual descarta explícitamente.
−7Error grave de planificaciónRecomendar un plan que no puede ejecutarse con las dependencias o la disponibilidad dadas.
−5Contradicción graveContradecirse sobre el estado de un asunto importante.
Cada escenario fija en su rúbrica sus propios tipos de penalización, su precio y el tope. Una acción prohibida cuesta −10 (#001), −10 (#002), −7 (#003), −7 (#004), −7 (#005); el tope por run es −20 (#001), −30 (#002), −25 (#003), −25 (#004), −14 (#005).
Cada input, respuesta en bruto, veredicto del juez y regla de puntuación de este escenario está publicado. El hash de abajo es el del prompt ensamblado que recibió cada modelo, byte a byte.
Una run puede rechazarse antes de puntuarse: truncada, o devuelta sin razonamiento cuando se pidió razonamiento, o un duplicado de caché. Esas nunca llegan a un leaderboard, porque un leaderboard solo puede excluir lo que evaluó. Describe al modelo y su endpoint, así que se informa aparte de la nota.
Qwen 3.8 Flash 3 de 7 intentos REASONING_NOT_DELIVERED
// por qué lo hemos hecho
Los benchmarks son útiles, pero lo importante es tu carga de trabajo
Comparamos modelos abiertos en producción para que puedas distinguir lo cerca que están de los modelos cerrados. MondayBench es cómo comprobamos si de verdad sirven antes de que lleguen ahí.