02 Evidencia y métodos
¿A qué distancia están los modelos abiertos de los cerrados?
De dónde salen las cifras de cada gráfico, en una ficha por gráfico. Los cálculos completos están en los archivos que cita cada ficha.
Los gráficos
Cuatro pruebas, cuatro distancias
- Qué muestra
- El mejor modelo de pesos abiertos y el mejor modelo cerrado en cuatro pruebas, con nombre, y la distancia entre ellos en puntos.
- Fuente
- Ejecuciones de benchmarks de Epoch AI (CC BY 4.0), archivo del 10 de noviembre de 2026; Vals AI, Terminal-Bench 4.0, clasificación del 9 de noviembre de 2026; nuestra verificación de los pesos públicos.
- Cómo lo calculamos
- Para cada prueba, la mejor ejecución de cada versión de modelo lanzada hasta el 10 de noviembre de 2026; la distancia es el mejor cerrado menos el mejor de pesos abiertos. De pesos abiertos desde el día en que los pesos fueron públicos (Kimi K3.1 Pro: 4 de noviembre). Los pesos con acceso restringido (Muse Spark Open) y los lanzamientos que nuestro registro no ha clasificado (Hy4, MiMo-V2.6) no se cuentan como abiertos.
- Límite principal
- Tres pruebas con el arnés propio de Epoch; la agéntica, con el de Vals AI, con mini-SWE-agent para todos los modelos. SWE-bench Verified, usado en ediciones anteriores, ya no se ejecuta: Epoch AI lo calificó de defectuoso el 3 de septiembre de 2026 y sus últimas ejecuciones son de junio. Las versiones anteriores de este capítulo usaban un corte el 31 de octubre de 2026.
- Archivos
analysis/gap/p29/frontier_2026_11.csv·analysis/gap/p29/tb4_frontier_2026_11.csv·analysis/gap/p29/openness_new_models.csv
Cuál es la distancia en tiempo
- Qué muestra
- Para cada prueba, el primer mes en que un modelo cerrado alcanzó la mejor puntuación de pesos abiertos de hoy; las dos fronteras mes a mes.
- Fuente
- Ejecuciones de benchmarks de Epoch AI (CC BY 4.0); Vals AI, Terminal-Bench 4.0.
- Cómo lo calculamos
- Fronteras mensuales entre las versiones lanzadas hasta el final de cada mes, con el último punto el 10 de noviembre de 2026; el retraso es el número de meses desde ese primer mes hasta noviembre de 2026.
- Límite principal
- Una observación de cuatro pruebas, no una regla de cómo avanzan los modelos; la frontera solo se mueve cuando se evalúa un lanzamiento nuevo. Vals AI solo pasó Terminal-Bench 4.0 a modelos lanzados en 2026
- Archivos
analysis/gap/p29/frontier_monthly_2026_11.csv·analysis/gap/p29/tb4_monthly_2026_11.csv
Saturación
- Qué muestra
- Las doce mejores versiones de modelos lanzadas entre julio y el 10 de noviembre de 2026 en GPQA Diamond, con nombre y con sus errores estándar.
- Fuente
- Ejecuciones de benchmarks de Epoch AI (CC BY 4.0), archivo del 10 de noviembre de 2026.
- Cómo lo calculamos
- La mejor ejecución de cada versión; clases como en el primer gráfico.
- Límite principal
- Los errores estándar son los de Epoch, por el muestreo de preguntas; no cubren ejecuciones repetidas ni cambios en el arnés.
- Archivos
analysis/gap/p29/gpqa_top_2026_11.csv·analysis/gap/p29/saturation_2026_11.csv
Imágenes científicas en VIALS-AA
- Qué muestra
- La proporción de 161 tareas sobre imágenes de laboratorio que cada modelo respondió bien en los tres intentos.
- Fuente
- Artificial Analysis, VIALS-AA, tal como se mostraba el 11 de noviembre de 2026 (artificialanalysis.ai/evaluations/vials-aa); benchmark VIALS de Handshake AI.
- Cómo lo calculamos
- pass^3: una tarea solo cuenta si las tres respuestas son correctas; entorno de Python y visor de imágenes para todos los modelos; respuestas calificadas por un modelo de lenguaje con las instrucciones propias del benchmark. Modelos lanzados hasta el 10 de noviembre de 2026, clases como en el primer gráfico.
- Límite principal
- Es otro evaluador distinto del de las cuatro pruebas, así que no se suma a ellas. Los términos de Artificial Analysis permiten un uso personal y no comercial; el propietario ha pedido permiso para publicar estas puntuaciones y esta vista previa las muestra mientras llega la respuesta.
- Archivos
analysis/gap/p29/vials_2026_11.csv
Trabajo de agente en Terminal-Bench 4.0
- Qué muestra
- La proporción de 66 tareas largas que cada modelo completa en un terminal, todos con el mismo agente.
- Fuente
- Vals AI, clasificación de Terminal-Bench 4.0 actualizada el 9 de noviembre de 2026 (vals.ai/benchmarks/terminal-bench-4); los metadatos de la página declaran CC BY 4.0.
- Cómo lo calculamos
- Media de tres ejecuciones completas por modelo (avg@3), un intento por tarea, sin crédito parcial, hasta ocho horas por tarea; mini-SWE-agent para todos los modelos. Modelos lanzados hasta el 10 de noviembre de 2026, de pesos abiertos desde el día en que sus pesos fueron públicos.
- Límite principal
- Una cuarta parte de las tareas son de ingeniería de software; el resto, de ciencia, aprendizaje automático, operaciones, hardware, seguridad y medios. Las 18 tareas de software por separado dan una distancia de 7,4 puntos, en demasiadas pocas tareas para fiarse. Los benchmarks de agente anteriores no son comparables: SWE-bench Verified está saturado y Epoch AI lo calificó de defectuoso, y DeepSWE 1.1 se calificó de defectuoso el 7 de septiembre de 2026.
- Archivos
analysis/gap/p29/tb4_models_2026_11.csv·analysis/gap/p29/tb4_frontier_2026_11.csv
Más datos
Cifras de la investigación que no aparecen en los gráficos del capítulo.
- Claude Fable 5.2, publicado el 9 de noviembre de 2026, obtuvo un 94,0% en SimpleQA Verified, 18 puntos por encima del mejor resultado anterior, el 76,0% de Gemini 4 Argon; sin él, la distancia es de 13,8 puntos. Las preguntas son públicas y el resultado aún no se ha reproducido, así que conviene tomarlo con cautela.
- Solo en las 18 tareas de software de la prueba de Vals AI, GPT-6 Astra completó el 61,1% y Kimi K3.1 Pro, el 53,7%: una distancia de 7,4 puntos, con demasiado pocas tareas para leerla por sí sola.
Fuentes y notas
Ver las 31 notas
Los niveles de evidencia siguen la escala del proyecto: E1 = publicado por la fuente y leído en el original; E2 = recalculado por nosotros y coincidente con una cifra publicada; E3 = calculado por nosotros a partir de los datos de origen (pipeline reproducible y pruebas). Datos de benchmarks: Epoch AI, Capabilities & benchmarking (epoch.ai/benchmarks), benchmark_data.zip consultado el 2026-10-15, CC BY 4.0, Solo ejecuciones propias de Epoch (archivos_external excluidos); manifiesto data/manifests/epoch_benchmarks_2026-10-15.json. Datos de preferencias humanas: lmarena-ai/leaderboard-dataset, revisión a64ca3b, CC BY 4.0; manifiesto data/manifests/lmarena_2026-10-19.json. Clases de apertura: registro de Helmcode tal como lo devuelve pipelines.identity.effective.registry() (solo el lado abierto). Todas las distancias corresponden al escenario A de DEC-088: *distancia entre el mejor modelo con pesos públicos verificados y el mejor modelo evaluado de cualquier clase; no es una comparación con modelos confirmados como de pesos cerrados. Cada cifra figura con su fuente en research/editorial/sprint25/ch02-claims.csv.
- 1
analysis/gap/p29/frontier_2026_11.csv(research/editorial/extreme-edit-pass29/ch02-capability/frontier_2026_11.py): archivo de Epoch AI del 10 de noviembre de 2026 (CC BY 4.0, manifiestodata/manifests/epoch_benchmarks_post_cutoff_2026-11-10.json), modelos lanzados hasta el 10 de noviembre de 2026 (decisión del propietario, 2026-11-11; las versiones anteriores usaban el 31 de octubre), la mejor ejecución de cada versión; las decisiones de pesos abiertos de los lanzamientos nuevos están enanalysis/gap/p29/openness_new_models.csv(pendientes de revisión humana). Kimi K3.1 Pro: abierto desde 2026-11-04, la primera captura pública archivada demoonshotai/Kimi-K3.1-Pro(createdAt en Hugging Face, 2026-11-02). Los pesos de Muse Spark Open tienen acceso restringido, así que no cuenta. Con el corte anterior:frontier_2026_10.csv. - 2Las tres preguntas (distancia en puntos, tiempo hasta alcanzar una puntuación, utilidad en producción) y la decisión de medir solo las dos primeras:
research/editorial/chapter02-argument.md, §1. Comparación definida en DEC-081; decisiones de pesos cerrados suspendidas en DEC-099 (registry/decision_suspensions.csv); escenario B no calculable (analysis/gap/scenarios.csv,computable = False). - 3
analysis/gap/p29/tb4_frontier_2026_11.csvytb4_models_2026_11.csv, generados porresearch/editorial/vals-tb4/tb4_2026_10.pya partir de la clasificación de Terminal-Bench 4.0 de Vals AI, actualizada el 9 de noviembre de 2026 (https://www.vals.ai/benchmarks/terminal-bench-4), descargada el 11 de noviembre de 2026 (data/raw/vals/terminal-bench-4/2026-11-11/, manifiestodata/manifests/vals_terminal_bench_4_2026-11-11.json). 66 tareas, media de tres ejecuciones (avg@3), pass@1 por ejecución, mini-SWE-agent para todos los modelos, límite de 8 horas por tarea. Los metadatos schema.org de la página declaran CC BY 4.0; su pie dice «All rights reserved»; se ha pedido confirmación por escrito. Ficherostb4_*_2026_11.csv, corte el 10 de noviembre de 2026 (TB4_CUTOFF=2026-11-10); clases como en la nota 29; Hy4 no está clasificado en nuestro registro y Muse Ember se lanzó el 9 de noviembre como modelo cerrado. Distancia de 1,5 puntos, error estándar de 2,9 puntos (errores estándar por ejecución de 1,75 y 2,31 puntos). Retraso: Claude Opus 5.5, lanzado el 22 de septiembre de 2026, obtuvo el 65,2%. Con el corte anterior (tb4_*_2026_10.csv): Claude Opus 5.5 65,2% frente a GLM-5.3 38,9%, 26,3 puntos. Tareas de software:software_only_*columnas. SWE-bench Verified: revisión de Epoch AI del 3 de septiembre de 2026 (https://epoch.ai/benchmarks/swe-bench-verified/review), nota de archivo de Vals AI del 1 de septiembre de 2026 (https://www.vals.ai/benchmarks/swebench). DeepSWE: revisión de Epoch AI del 7 de septiembre de 2026 (https://epoch.ai/benchmarks/deepswe/review); resultados enanalysis/gap/p29/coding_2026_10.csv, citados, no redistribuidos. - 4Método: DEC-082;
pipelines/gap/runs.py,pipelines/gap/frontier.py;research/gap/candidate-findings.md. Mejor ejecución entre los niveles de razonamiento evaluados de cada versión, con la fecha de lanzamiento como fecha de referencia; versiones abiertas desde la más tardía entre la fecha de lanzamiento y la fecha documentada de los pesos (open_valid_from). Sin normalización ni índice entre benchmarks (DEC-030, DEC-082). - 5OTIS Mock AIME 2024-2025, mes que termina el 2025-07-31: el líder de cualquier clase y el mejor de pesos abiertos verificado son ambos
Qwen3-235B-A22B-Thinking-2507(leader_all_evidence = verified_openenfrontier_leaders.csv;gap_pp = 0,0enfrontier_monthly.csv); clase del registro OW-P. LM Arenatext/overall, instantáneas del 2025-01-24 al 2025-02-27 (11 instantáneas):top_any = deepseek-r1,gap_any_vs_verified_open_points = 0,0(analysis/gap/arena_snapshots.csv); clase del registro dedeepseek/deepseek-r1: OW-P. Líderes de septiembre de 2026:leader_all_evidence = unknown, Epoch los etiqueta como «API access» o «Limited access» (frontier_leaders.csv). Ningún candidato no verificado que Epoch etiquete como abierto supera la frontera abierta verificada a 2026-09-30:research/gap/frontier-impact.md, §2.1; DEC-085. Fuera de las etiquetas abiertas de Epoch:qwen3.8-max_xhigh(Epoch «API access», lanzado el 2026-08-02, ejecución del 2026-08-04) obtiene 0,75 en FrontierMath Tiers 1–3 v2 frente akimi-k3_max0,72 (analysis/gap/runs.csv);sources/model_reference_2026.csvregistra Qwen3.8-2.4T-A95B como público en Hugging Face y «hosted as Qwen3.8-Max (API)»; 93,68 − 74,74 = 18,9 puntos. Pass 26, revisión independiente C-02. E3. - 6Clases y reglas de evidencia:
research/openness-taxonomy.md,research/openness-evidence-audit.md(DEC-022, DEC-023). Clases efectivas:pipelines.identity.effective.registry():moonshotai/kimi-k3-20260715OW-N,deepseek/deepseek-v4-pro-20260813OW-P,z-ai/glm-5.2-20260616OW-P,xiaomi/mimo-v2.6-pro-20260921OW-N; versiones de Meta Llama UNK (pending_human). NueveCWdecisiones de DEC-093 y DEC-094 suspendidas, clase efectiva UNK (registry/decision_suspensions.csv, DEC-099);confirmed_closed_versions = 0en todos los benchmarks (analysis/gap/gap_summary.csv). Lo que exigiría una comparación del lado cerrado: DEC-083 (cola A,analysis/gap/review_queue.csv) yresearch/gap/scenarios-and-gates.md(control G2). - 7
analysis/gap/stat_audit.csvyresearch/gap/statistical-audit.md(los intervalos solo recogen el muestreo de preguntas; diagnóstico de la maldición del ganador por debajo de 1 punto neto en todos los benchmarks).analysis/gap/comparability.csv, GPQA Diamondmedian_delay_days: abiertas verificadas 125,5, etiqueta «API access» de Epoch 29.0. Proveedor: Florian Brand y Jean-Stanislas Denain, «Why benchmarking is hard», Epoch AI Gradient Updates, 2025-12-23, apartado «Model Provider» (epoch.ai/gradient-updates/why-benchmarking-is-hard, consultado el 2026-11-02; las entradas de Gradient Updates reflejan la opinión de sus autores, no necesariamente la de Epoch; la prueba usó GPQA Diamond y modelos abiertos de 2025);research/gap/methodology-audit.md, §1 y §3; 7 ejecuciones confireworks/como prefijo de proveedor enanalysis/gap/runs.csv. Control G6 no cumplido (research/gap/scenarios-and-gates.md). E3. DEC-087, DEC-088. - 8
research/gap/methodology-audit.md, §2: Haas et al., arXiv 2509.07968 (artículo CC BY 4.0; conjunto de datos MIT), 1000 preguntas filtradas del SimpleQA de OpenAI; un turno, sin herramientas; Epoch da la proporción de aciertos, con la abstención contada como incorrecta, así que sus puntuaciones no son comparables con el F1 del artículo; calificadorgpt-5.6-terra; defectos de etiquetado en el 10% de una auditoría de 50 preguntas recogida en la revisión de Epoch; cambio de prompt el 2026-08-27. Releído en el original el 2026-11-02: Epoch AI, revisión del benchmark «SimpleQA Verified» (revisado el 2026-09-10), apartados Interpretation, Elicitation & Scaffolding y Limitations, epoch.ai/benchmarks/simple-qa-verified/review; página del benchmark en Epoch, apartados Methodology y Changelog, epoch.ai/benchmarks/simpleqa-verified (E1). Sensibilidades:analysis/gap/sensitivity_checks.csv(«only runs started on/after 2026-08-27»: 23,1; «exclude Epoch 'Limited access' / pre-release models»: 22,7, lídergpt-6-astra_max). Intervalo:analysis/gap/stat_audit.csvygap_summary.csv(20,6–26,6; la repetición del Sprint 13 da 20,7–26,5, error de Monte Carlo). E3. DEC-087. - 9
analysis/gap/scenarios.csv(escenario A):gpt-6-astra_max=gpt-6.1-sol_max0,94 frente akimi-k3_max0,72 (OW-N), 21,5 puntos, 17,6–26,3.stat_audit.csv: 83 versiones lanzadas hasta el 2026-09-30, 13 abiertas verificadas (gap_summary.csvcuenta 84, todas las versiones del archivo);coverage.csv: lanzamiento del benchmark 2026-06-12. Condiciones del benchmark, releídas en el original el 2026-11-02: Epoch AI, «FrontierMath Tiers 1-3 (v2)», epoch.ai/benchmarks/frontiermath-tiers-1-3-v2 (introducción: v2 publicada el 2026-06-12, 295 problemas en los Tiers 1–3, diez públicos, puntuaciones del hub sobre los conjuntos privados; Methodology: herramienta de Python sin estado) e implementación enlazada por Epoch (gist.github.com/tadamcz/7b3a45d0d5d35f758bb6deb8000731bb:network_mode: none, corrector automático). E3 (distancia), E1 (condiciones). - 10Acceso de OpenAI: Epoch AI, página «About» de FrontierMath, apartado «Conflict of interest statement» (epoch.ai/frontiermath/tiers-1-4/about, consultada el 2026-11-02): 300 problemas principales encargados por OpenAI, con acceso a enunciados y soluciones salvo 53 soluciones reservadas en la versión FrontierMath_02-28-25; no dice nada de la v2. El conjunto reservado de 50 problemas anunciado el 2025-01-23 (epoch.ai/blog/openai-and-frontiermath) estaba entonces aún por cerrar. E1.
analysis/gap/sensitivity_checks.csv: «exclude OpenAI models», líderclaude-opus-5-5_max0,91, distancia 19,0; «exclude runs evaluated before the model's release date», 21,5.gpt-6-astra_maxevaluado el 2026-08-30, lanzado el 2026-09-03;gpt-6.1-sol_maxevaluado y lanzado el 2026-09-29 (research/gap/frontier-impact.md, §1). E3. DEC-087; control G5. - 11
analysis/gap/frontier_monthly.csv, FrontierMath-Tiers-1-3-v2-Private: primer mes con una versión de pesos abiertos verificada 2026-02-28 (verified_open_available1, distancia 42,8); 51,2 (2026-03-31), 16,9 (2026-07-31), 21,5 (2026-09-30).coverage.csv:first_eval2026-06-09, tres días antes de la publicación del benchmark el 2026-06-12 (nota 8): Epoch, que gestiona el benchmark, evaluó modelos antes de publicarlo. E3. - 12
analysis/gap/frontier_monthly.csv, SimpleQA Verified:gap_pp9,0 (2025-07-31), 33,1 (2026-02-28 y 2026-03-31), 23,1 (2026-09-30). Fechas de evaluación:analysis/gap/coverage.csv,first_eval2026-08-10,last_eval2026-10-13. E3. Rotación de líderes (sección Una foto fija, no una tendencia):analysis/gap/frontier_leaders.csv, columnasleader_openyleader_open_release, meses de 2026-01 a 2026-09: FrontierMath-Tiers-1-3-v2-Privateqwen3.5-397b-a17b_none(2026-02, 2026-03),kimi-k2.6(2026-04, 2026-05),glm-5.2_max(2026-06),kimi-k3_max(de 2026-07 a 2026-09); GPQA diamondglm-4.7,glm-5,deepseek-v4-pro_high(lanzado el 2026-04-24),glm-5.2_max,kimi-k3_max; SimpleQA VerifiedQwen3-235B-A22B-Thinking-2507,deepseek-v4-pro_max,kimi-k3_max,deepseek-v4-pro-0813_max. Mismas reglas que en el resto del capítulo (clase de pesos abiertos verificada, válida desde su primera captura pública). E3. - 13
analysis/gap/ceiling.csv(42 versiones por encima de 0,9; lanzamiento del benchmark 2023-11-20; techo de Epoch 1.0); 238 versiones lanzadas hasta el 2026-09-30 (analysis/gap/stat_audit.csv,versions).frontier_monthly.csv: 12,1 puntos (2025-03-31), 1,5 puntos (2026-07-31), 3,3 puntos (2026-09-30), intervalo 1,2–5,6. El líder cambia en el 74,3% de 2000 extracciones (stat_audit.csv,share_draws_leader_all_changes0,74). Preguntas discutidas:research/gap/candidate-findings.md, C3 (pendiente de cuantificación). E3. DEC-082 (los benchmarks saturados se usan solo para mostrar el efecto techo). - 14
analysis/gap/gap_summary.csv(gap_pp_2026-09: OTIS 1,4 puntos, intervalo 0,0–1,8; MATH Level 5 1,5 puntos) yanalysis/gap/ceiling.csv(OTISbest_score1,0; 58 versiones por encima de 0,9 en todo el archivo, 55 entre las versiones lanzadas hasta el 2026-09-30, mejor ejecución por versión enanalysis/gap/runs.csv, como en los 42 de 238 de GPQA Diamond). E3. DEC-082; control G8 enresearch/gap/scenarios-and-gates.md. - 15
analysis/gap/p29/vials_2026_11.csv, a partir de la página de VIALS-AA de Artificial Analysis tal como se mostraba el 11 de noviembre de 2026 (data/raw/aa_vials/2026-11-11/, manifiestodata/manifests/aa_vials_2026-11-11.json): pass^3 (las tres repeticiones correctas), media de 3 y pass@3; clases según las reglas del informe, no las etiquetas de la fuente. Los términos de Artificial Analysis permiten un uso personal y no comercial; el propietario pidió permiso el 11 de noviembre de 2026 y la vista previa muestra las puntuaciones mientras llega la respuesta. - 16
analysis/gap/gap_summary.csv,lag_months_2026-09: FrontierMath Tiers 1–3 v2 9, SimpleQA Verified 9, SWE-bench Verified 7, GPQA Diamond 7, MATH Level 5 17 (distancia 1,5 puntos). El 7 de SWE-bench depende de la regla de ejecuciones repetidas (nota 15). Retraso = meses desde que la frontera general alcanzó por primera vez la puntuación actual de la frontera abierta (DEC-082). No se promedia ni se publica como una sola cifra (research/gap/candidate-findings.md, C5). Epoch AI, «Open models lag state-of-the-art closed models by 4 months» (J. Edwards y L. Emberson, 29 de mayo de 2026, epoch.ai/data-insights/open-closed-eci-gap, consultado el 2026-11-07): «Since January 2026, the most capable open-weight models have lagged frontier closed models by an average of four months in the Epoch Capabilities Index (ECI)». E3. - 17
analysis/gap/arena_snapshots.csv, 2026-10-15: «Gemini 4 Argon (High)» 1532,3,mimo-v2.6-pro(OW-N), 41,7 puntos, probabilidad de victoria esperada 0,56, intervalos separados; 2026-10-13: 43,0. Sin Gemini 4 Argon: 25,1 (research/gap/frontier-impact.md, §2.2;research/gap/scenarios-and-gates.md, escenario A). Cambio de nombre y control G9:frontier-impact.md, §2.3; DEC-085. E3. - 18
analysis/gap/arena_snapshots.csv, nuestra agregación semestral degap_any_vs_verified_open_pointsyci_separated_any_vs_verified_open(escenario A). Tablatext,overall: 2025-S1 mediana 37,4 (rango 0,0–54,0;deepseek-r1el mejor puntuado en 11 instantáneas), separadas 29 de 42; 2025-S2 43,9, 2026-S1 41,6, 2026-S2 40,6 (27,1–46,6), todas separadas. El mejor modelo con etiqueta abierta no coincide con el mejor verificado en 14 de 54 instantáneas en 2026-S1 y en 15 de 29 en 2026-S2, sobre todo porque nombres de Arena comokimi-k3-max,kimi-k2.5-thinkingyglm-5.3-maxno están enlazados con el registro (control G9). 2024, no se informa: no hay ningún modelo de pesos abiertos verificados antes del 2024-04-18; medianas 137,3 (19 de 34 instantáneas) y 110,6, sobrestimadas porque Llama 3 y 3.1, Qwen1.5 y Command R+ no tienen una clase verificada. Sensibilidad con las etiquetas de Arena (escenario C, no verificado por Helmcode;gap_prop_vs_open_label_points, donde «abierto» es cualquier etiqueta de licencia distinta de «Proprietary», incluidas las no comerciales): 2024-S1 79,4, 2024-S2 57,7, 2025-S1 37,4, 2025-S2 43,9, 2026-S1 38,25, 2026-S2 33,9. Los semestres agrupan instantáneas de ambos lados de los cambios de método del 2025-05-16, 2025-07-23 y 2026-05-12. 2026-S2 por categoría: programación 35,6 (separadas 20 de 29), prompts difíciles 40,5 (29 de 29), matemáticas 65,6 (22 de 29);text_style_controlgeneral 38,7. Con las etiquetas de Arena: 24,1, 36,1, 60,8 y 22,7. Hasta el 2026-10-15. E3. DEC-084, DEC-088. - 19Las ejecuciones propias de Epoch empiezan el 2025-01-27 (
coverage.csv, GPQA Diamondfirst_eval). 36 versiones etiquetadas como abiertas por Epoch por encima de la frontera abierta verificada (analysis/gap/review_queue.csv, motivo «pesos abiertos según la etiqueta de Epoch por encima de la frontera abierta verificada»; DEC-083, cola B). GPQA Diamondgap_pp_2024-0638,9 (gap_summary.csv) tratada como un artefacto de cobertura:research/gap/candidate-findings.md, C6; DEC-082. Supervivencia:candidate-findings.md, «Comparabilidad». LM Arena en 2024: nota 21. E3. - 20Capítulo 03, «La ventana de 90 días» (
report/chapters/03-follow-the-tokens.md); capítulo 04 sobre el coste por tarea resuelta (report/chapters/04-economics-of-open-models.md). Cambios de líder:analysis/gap/frontier_leaders.csv. - 21
analysis/gap/frontier_leaders.csvyanalysis/gap/scenarios.csv(escenario A), mes que termina el 2026-09-30. GPQA Diamond:kimi-k3_max0,93 (OW-N) frente agemini-4-argon_high0,96; SimpleQA Verified:deepseek-v4-pro-0813_max0,53 (OW-P) frente agemini-4-argon_high0,76. Distanciasgap_pp_2026-09enanalysis/gap/gap_summary.csv. E3. DEC-081, DEC-082. Ejecuciones detrás de cada distancia (tabla tras la figura 2.1):pipelines/gap/leaders_table.py,analysis/gap/benchmark_leaders_2026_09.csv, a partir deanalysis/gap/runs.csv(started_at,reasoning_effort,score,stderr); cada distancia reproducegap_pp_2026-09. Mejor OW-P cuando el líder abierto es OW-N:deepseek-v4.1-flash_max0,67 (FrontierMath Tiers 1–3 v2),glm-5.2_max0,92 (GPQA Diamond). E3. - 22
analysis/gap/gap_summary.csv: FrontierMath-2025-02-28-Private 13.4 (9,6–20,4), techo de Epoch 0.57 (ceiling.csv;superseded_byencoverage.csv); Chess Puzzles 26.0 (17,0–34,3). Las versiones de un benchmark no se encadenan (DEC-082). E3. - 23
analysis/gap/coverage.csv,bases_verified_open: FrontierMath Tier 4 v2 10, Mystery Game Puzzles 13, Furniture Assembly 3, EBR-bench 2, MirrorCode 0, SpireClimb 0. No se calculan distancias. - 24
analysis/gap/scenarios.csvyfrontier_leaders.csv:claude-opus-4-7_max0,83 frente aglm-5.2_max0,79 (OW-P), 4,8 puntos, intervalo del 90% 0,7–7,6 (bootstrap con normales independientes).gap_summary.csv: 32 versiones, 6 abiertas verificadas.coverage.csv:first_eval2026-02-01,last_eval2026-06-25,last_release2026-06-16. E3. - 25
analysis/gap/swe_paired_gap.csv: 455 instancias comunes, 23 versiones con datos por ítem (5 abiertas verificadas), distancia 5,5 puntos, intervalo pareado con los líderes reseleccionados 2,9–7,5 (normales independientes sobre los mismos ítems: 1,0–8,4). Puntuaciones por instancia a partir de los registros públicossummaries.jsonde Epoch (24 de 35 legibles); solo se publican agregados (research/gap/reproducibility.md).research/gap/statistical-audit.md, §2–3. E3. DEC-087. - 26
research/gap/frontier-impact.md, §2.2 (SWE-bench): los siguientes candidatos por encima de la frontera abierta verificada dan 1,9 puntos (gpt-5.5-pre-release_xhigh), 0,6 y 0,0 puntos. Calculado para el escenario del lado cerrado antes de DEC-099; las puntuaciones no dependen de la clasificación. E3. DEC-085. - 27
analysis/gap/runs.csv, SWE-Bench verified:gpt-5.1-2025-11-13_high0,66 y 0,68 (2026-02-17 y 2026-02-18);claude-opus-4-60,76 y 0,79 (2026-02-10 y 2026-02-18). Ningún otro par benchmark–versión del archivo tiene más de una ejecución. Esto contradice la afirmación «sin ejecuciones repetidas» deresearch/gap/statistical-audit.md§5 solo para SWE-bench; marcado para auditoría enresearch/editorial/sprint25/ch02-notes.md. Regla:pipelines/gap/frontier.py,per_model(), conserva una ejecución por versión, la de mayor puntuación entre niveles de razonamiento y ejecuciones repetidas (los empates se resuelven porrun_id), con el error estándar de esa ejecución; la otra se descarta, también del bootstrap. En los dos pares la ejecución más alta es también la más reciente, así que una regla de última ejecución da el mismo resultado. Con las ejecuciones más bajas, la distancia y el intervalo de 2026-09 no cambian (4,8, 0,7–7,6), peroclaude-opus-4-6no lideraría en febrero–marzo de 2026 (distancia 2,9 y 3,1 puntos en lugar de 5,0) y el retraso de septiembre sería de 5 meses en lugar de 7 (nota 19):claude-opus-4-6con 0,79 supera el 0,79 de GLM-5.2 por 0,02 puntos (sensibilidad recalculada confrontier.analyse()para el Sprint 25D; no guardada enanalysis/gap/). E3. - 28
research/gap/benchmark-inventory.md, §1.1 (entorno de evaluación de Epoch; andamiaje de agente por verificar) y §2 (SWE-benchleaderboards.json: resultados enviados por los propios desarrolladores, no mezclados; OpenAI, «Why we no longer evaluate SWE-bench Verified», 2026-02-23, releído en el original el 2026-11-02, introducción y apartado de la auditoría: 138 problemas que o3 no resolvía de forma consistente en 64 ejecuciones, un subconjunto del 27,6%; openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/).research/gap/candidate-findings.md, C4. E1 (tal como lo comunica la fuente, no reproducido). - 29DEC-084;
research/gap/benchmark-inventory.md, §1.2 (cambios de método 2024-01-09, 2025-05-16, 2025-07-23, 2026-05-12; puntuaciones relativas a cada instantánea; etiquetas de licencia no verificadas);research/gap/candidate-findings.md, C8. No se usan las instantáneas anteriores a 2024 (método Elo, listas de modelos cortas). - 30Archivo posterior:
data/raw/epoch_benchmarks_post_cutoff/2026-11-07/benchmark_data.zip, SHA-25690bd1bd5…935c, manifiestodata/manifests/epoch_benchmarks_post_cutoff_2026-11-07.json(solicitado el 2026-11-07T14:34Z), guardado fuera dedata/raw/epoch_benchmarks/para que el pipeline de este capítulo nunca lo lea. Comparación:pipelines/gap/post_cutoff.py;analysis/gap_post_cutoff/archive_comparison.csv(mismo fichero, fecha de versión, columna de puntuación y estado para SimpleQA Verified, FrontierMath Tiers 1–3 v2 y GPQA Diamond; para SWE-bench Verified, elbenchmark_metadata.csvposterior no indica ningún fichero de datos, peroswe_bench_verified.csvestá en el archivo y es idéntico byte a byte al anterior, columnasold_file_in_new_archiveyold_file_identical_in_new_archive, así que se lee con la definición anterior),run_changes.csv(0 ejecuciones cambiadas, 0 retiradas),frontier_check.csv(ámbito «released by 2026-09-30»: 23,1, 21,5, 3,3 y 4,8 puntos, los mismos líderes). Pass 26 (revisión independiente C-01): una versión anterior de esta nota y del texto decía que las ejecuciones de SWE-bench Verified no estaban en el archivo posterior. Identidad y apertura según las reglas del capítulo (pipelines.gap.runs.resolve_bases,evidence_for, registro efectivo). E3. - 31
analysis/gap_post_cutoff/new_runs.csv, mejor ejecución por modelo, como en el capítulo; ± = error estándar de Epoch, en puntos. Etiquetas de Epoch tomadas demodel_metadata.csven el archivo posterior (accessibility); la versión evaluada de Kimi K3.1 Pro eskimi-k3.1-pro-together(«Kimi K3.1 Pro (Together)»). Mistral Large 4: la versión de pesos abiertosmistral-large-4-0-oss; la ejecución de FrontierMath de Epoch corresponde a la versión preliminar anterior de la API (mistral-large-4-0, 6 de octubre) y no se muestra. Fechas de lanzamiento: campo de EpochRelease date. Pesos y licencias: DeepSeek, noticia del 2026-10-17 y la ficha en Hugging Face dedeepseek-ai/DeepSeek-V4.1-Flash-1017; Moonshot AI, página de la organización en Hugging Face (moonshotai/Kimi-K3.1-Pro); Mistral AI, ficha en Hugging Face demistralai/Mistral-Large-4-1T-A52B; Meta, «Introducing Muse Spark Open» (research.meta.ai/blog/muse-spark-open, 15 de octubre de 2026: «816B total parameters (42B active)», «under the Muse Model License with limited commercial terms»), consultado el 2026-11-07 mediante una herramienta de lectura que resume la página; no se ha leído el propio texto de la licencia. Kimi K3.1 Pro: API de Hugging Face,createdAt2026-11-02; la fecha de creación de un repositorio no es el día en que sus pesos se hicieron públicos (el repositorio de Kimi K3 se creó el 2026-06-13 y sus pesos se publicaron el 2026-07-27). Pass 26, revisión independiente C-08. Todo consultado el 2026-11-07 (research/editorial/model-depth/25-model-licensing-inventory.md). Registro: ninguno de los cuatro se resuelve en una clase verificada (new_runs.csv,openness_evidence= unknown). Gemini 4 Carbon: anuncio de Google del 2026-10-28; ninguna ejecución en el archivo. E3 (puntuaciones tal como las registra Epoch), E1 (datos de lanzamiento).