Capítulo 1: El coste real de una tarea de IA

Visión general#

La mayoría de las comparaciones empiezan por los precios de los tokens de entrada y de salida. Esas cifras ponen precio a una llamada al modelo, pero los clientes pagan por un documento procesado, una incidencia resuelta o una tarea de programación terminada.

Una sola operación puede implicar una clasificación, una recuperación, dos llamadas al modelo, una búsqueda externa y un reintento. El precio de la respuesta final del modelo cubre solo uno de esos pasos. Una respuesta correcta de la API también puede ocultar una tarea fallida: un JSON sintácticamente válido puede contener el total equivocado de una factura.

Mide en su lugar el coste por tarea aceptada. Una tarea aceptada cumple los requisitos que tu producto fija para esa operación.

Práctica#

Empieza con:

Incluye los costes que apliquen: inferencia, embeddings y recuperación, herramientas externas, reintentos, cómputo, corrección humana y una parte de la capacidad fija. No cuentes dos veces una factura de plataforma compartida, y deja por escrito cómo la has repartido.

Un flujo de documentos hipotético:

Reducir a la mitad la primera llamada ahorra 0,008 $. El nuevo total es 0,025 $, alrededor de un 24 % menos, suponiendo que nada más cambia.

Si ejecutas 10.000 tareas con un coste atribuible de 330 $ y aceptas 9.000, tu coste por tarea aceptada es de unos 0,0367 $. Una alternativa que cuesta 280 $ pero solo acepta 7.000 sale a 0,04 $ por tarea aceptada. La factura es menor, pero cada tarea aceptada cuesta más.

La hoja de cálculo tiene una pestaña que hace este cálculo para cada una de tus operaciones.

No necesitas una definición perfecta de calidad para empezar. Deja por escrito qué significa aceptar para cada operación.

Ledgerline. La factura del proveedor de Ledgerline en octubre fue de 2.600 $. Repartida entre 72.000 tareas aceptadas, sale a unos 0,036 $ por tarea, y esa media no dice casi nada. Una factura extraída cuesta 0,030 $, una respuesta de soporte 0,020 $ y un informe de riesgo de proveedor 0,40 $. Cada operación necesita su propia cifra antes de que nadie pueda decidir qué cambiar.

En profundidad#

Una llamada simple a la API sin caché cuesta:

Esa fórmula cambia cuando un proveedor distingue lecturas y escrituras en caché, tokens de razonamiento, tarifas de herramientas o modos por lotes. Si los tokens de razonamiento ya están incluidos en los tokens de salida que se reportan, no los cuentes dos veces.

En la infraestructura fija, separa los costes marginales de los asignados. Un servicio que cuesta 1.000 $ al mes procesa 50.000 tareas aceptadas a un coste asignado de 0,02 $ por tarea. Mientras quede capacidad libre, una tarea más que quepa en esa capacidad puede costar mucho menos que eso en el margen. Una vez que el servicio está saturado, la siguiente tarea puede requerir un nuevo nivel de capacidad.

Mira más allá de las medias. Unos pocos agentes de larga duración pueden disparar el coste por tarea del P95 muy por encima de la mediana, así que empieza a investigar por la cola.

Referencias: Modelos de razonamiento de OpenAI, Thinking en Gemini.