04 Evidencia y métodos

La economía de los modelos abiertos

De dónde salen las cifras de cada gráfico, en una ficha por gráfico. Los cálculos completos están en los archivos que cita cada ficha.

Los gráficos

  1. Coste por tarea resuelta

    Qué muestra
    Tres modelos con casi el mismo éxito: tokens por tarea, coste por tarea intentada, tareas completadas, coste por tarea resuelta y minutos.
    Fuente
    Vals AI, clasificación de Terminal-Bench 4.0 actualizada el 9 de noviembre de 2026 (vals.ai/benchmarks/terminal-bench-4); los metadatos de la página declaran CC BY 4.0.
    Cómo lo calculamos
    Coste por tarea resuelta = coste por tarea intentada dividido entre la proporción de tareas completadas, con los intentos fallidos incluidos, a los precios del proveedor que sirvió cada ejecución (media de tres ejecuciones). Tokens por tarea: de entrada y de salida, entrada en caché incluida, sobre las 66 tareas. Cada par de modelos con distinto precio por token se compara también en las dos medidas.
    Límite principal
    Vals no publica el precio que usó para cada modelo; el precio efectivo por token es el coste dividido entre los tokens, con los descuentos de caché incluidos. Los pares comparten modelos, así que no son observaciones independientes.
    Archivos
    analysis/economics/tb4_2026_11/models.csv · analysis/economics/tb4_2026_11/summary.csv
  2. Mejor relación coste-resultado

    Qué muestra
    Coste por tarea resuelta y éxito de cada modelo lanzado hasta el 10 de noviembre de 2026; modelos de pesos abiertos y cerrados con un éxito parecido.
    Fuente
    Vals AI, Terminal-Bench 4.0.
    Cómo lo calculamos
    Modelos ordenados por coste por tarea resuelta; se comparan los pares de pesos abiertos y cerrados a menos de tres puntos de éxito.
    Límite principal
    Un benchmark de tareas agénticas largas con un agente; un éxito parecido no significa que se completaran las mismas tareas; el coste de un modelo depende del proveedor que lo sirvió (columna provider). Muse Ember, lanzado el 9 de noviembre, se ejecutó al precio de la fecha de su ejecución, que puede no durar.
    Archivos
    analysis/economics/tb4_2026_11/models.csv · analysis/economics/tb4_2026_11/pairs.csv
  3. Velocidad

    Qué muestra
    Minutos por tarea frente a coste por tarea resuelta, y los modelos fuertes a los que ningún otro supera en ambas cosas.
    Fuente
    Vals AI, Terminal-Bench 4.0.
    Cómo lo calculamos
    Tiempo real medio por tarea, herramientas y pruebas incluidas; la frontera une los modelos que completaron al menos la mitad de las tareas y a los que ningún otro de ese grupo supera en las dos medidas.
    Límite principal
    El tiempo depende del proveedor que sirvió cada modelo durante la ejecución; no es la latencia de un chat ni una propiedad de los pesos.
    Archivos
    analysis/economics/tb4_2026_11/models.csv

Fuentes y notas

Ver las 12 notas

  1. 1
    analysis/economics/tb4_2026_11/models.csv (research/editorial/vals-tb4/ch04_tb4_2026_11.py): Kimi K3.1 Pro 63,64% completado, coste por tarea $4,57, coste por tarea resuelta $7,18, 49,3 min; Claude Opus 5.5 65,15%, $12,04, $18,48, 63,5 min; GPT-6.1 Sol 55,05%, $1,73, $3,13, 45,2 min. Media de tres ejecuciones.
  2. 2
    Coste por tarea resuelta = coste por tarea / proporción completada. Coste por tarea: el «Cost / Test» de Vals AI, el gasto de API por tarea a los precios del proveedor que lo sirvió, con todas las llamadas del agente incluidas. Tokens por tarea: los tokens de entrada y de salida de la ejecución (entrada en caché incluida) divididos entre las 66 tareas (token_totals, token_tasks_measured en la vista de la clasificación).
  3. 3
    analysis/economics/tb4_2026_11/summary.csv, pairs_total 741, pairs_inverted 197: pares de modelos que completaron al menos el 10% de las tareas y cuyo precio efectivo por token (coste por tarea / tokens por tarea, con descuentos de caché) es distinto.
  4. 4
    Vals AI, clasificación de Terminal-Bench 4.0 actualizada el 9 de noviembre de 2026 (https://www.vals.ai/benchmarks/terminal-bench-4), descargada el 11 de noviembre de 2026 (data/raw/vals/terminal-bench-4/2026-11-11/, manifiesto data/manifests/vals_terminal_bench_4_2026-11-11.json). avg@3, pass@1 por ejecución, mini-SWE-agent, 8 horas por tarea, sin crédito parcial. Los metadatos schema.org de la página declaran CC BY 4.0; su pie dice «All rights reserved»; el propietario ha pedido confirmación por escrito. Proveedor de cada ejecución: columna provider.
  5. 5
    Clases como en el capítulo 02 (analysis/gap/p29/classes_2026_11.csv, analysis/gap/p29/openness_new_models.csv); los modelos que no están en esa tabla se clasifican en research/editorial/vals-tb4/tb4_2026_10.py (CLASS_EXTRA), entre ellos Hy4, MiMo V2.6 y MiniMax-M3.1 Flash, sin clasificar.
  6. 6
    models.csv, cost_per_solved_usd: Muse Ember 0.55 (lanzado el 2026-11-09, proveedor Meta); modelos con solved_pct ≥ 50: GPT-6.1 Sol 3.13 … Claude Opus 5 34,74; Kimi K3.1 Pro 7.18.
  7. 7
    analysis/economics/tb4_2026_11/pairs.csv: cada par de un modelo de pesos abiertos y uno cerrado con tasas de éxito a ±3 puntos porcentuales (modelos que completaron al menos el 10%), 28 pares; matched_open_cheaper 18, matched_median_ratio 2,58 (coste por tarea resuelta cerrado / abierto).
  8. 8
    models.csv: GLM-5.3 38,89%, $9,37 por tarea, 31,54 millones de tokens por tarea, $24,11 por tarea resuelta, proveedor Zhipu AI; GLM-5.3 Flash 37,37%, $1,22, 35,66 millones, $3,26, proveedor Fireworks AI; Claude Haiku 5.5 36,36%, $3,12, $8,57; Kimi K3 17,17%, $12,48, $72,67.
  9. 9
    models.csv: DeepSeek V4.1 Flash (la versión del 17 de octubre) 31,82%, $0,54, $1,70; Mistral Large 4 27,78%, $5,18, $18,65.
  10. 10
    summary.csv, median_minutes_per_test_open 70,46, median_minutes_per_test_closed 53,58; models.csv, minutes_per_test = la duración por tarea de Vals AI / 60. Frontera: entre los modelos con solved_pct ≥ 50, ninguno a la vez más barato y más rápido.
  11. 11
    OpenHands Index (All Hands AI, Apache-2.0), instantánea del 30 de junio de 2026; tablas conservadas en analysis/economics/oh2026/. Tareas (SWE-bench Verified), agente (OpenHands) y periodo distintos.
  12. 12
    Charla de David Abitbol, responsable de operaciones de IA en Revolut, en la conferencia AI Engineer, Nueva York, publicada en YouTube por AI Engineer el 2026-10-29: "nuestra factura es 1/10 de lo que gastábamos en Anthropic y OpenAI"; GLM-5.3 autoalojado como modelo de programación por defecto, y los modelos cerrados aún se usan "como excepción". Declaración de la propia empresa; no hay nota de prensa ni artículo técnico de Revolut; no se han revelado la base de costes ni si las GPU son propias o alquiladas. Notas y copias: research/editorial/extreme-edit-pass29/ch06-infra/ch06-infra.md, §5b; raw/web/revolut_glm_notes.md.