Glosario
Los 38 términos en los que se apoya la guía, en el sentido en que los usa, cada uno enlazado a los capítulos que lo explican.
Ningún término coincide. Prueba con una palabra más corta.
- Amplificación de reintentos también Retry amplification
-
Reintentos que se acumulan entre capas: un SDK que lo intenta tres veces dentro de un bucle de la aplicación que lo intenta tres veces puede enviar nueve peticiones aguas arriba. Fija un único plazo global y conoce la política de cada capa.
- API de pago por uso también Metered API
-
Inferencia facturada por uso, normalmente por token de entrada y de salida. Es sencilla de operar y la factura sigue al trabajo, lo que encaja con el tráfico variable.
En 11 Economía de la inferencia en GPU y del despliegue 05 Qué cambian de verdad los modelos de pesos abiertos
- Batch API también API por lotes
-
Un modo del proveedor para peticiones que pueden esperar, a menudo horas, normalmente a un precio inferior al de las llamadas en tiempo real. Es un nivel de precios. Ejecutar trabajo de forma asíncrona en tu propio sistema y agrupar por lotes en una GPU son cosas distintas.
- Batching continuo también Procesamiento continuo por lotes, Continuous batching
-
Una técnica del motor de inferencia que intercala peticiones de distinta longitud en la misma GPU para mantenerla ocupada. Aumenta el rendimiento en el hardware que operas y no tiene nada que ver con el descuento por lotes de un proveedor.
En 11 Economía de la inferencia en GPU y del despliegue 08 Inferencia por lotes y asíncrona
- Caché de prefijos también Prefix caching
-
Un motor de inferencia que conserva la KV cache de un prefijo de prompt compartido y la reutiliza en peticiones posteriores que empiezan igual. Ahorra el prefill de ese prefijo; cada token de salida se sigue generando. En hardware dedicado la ganancia aparece como rendimiento, no como una factura más pequeña.
En 06 Tokens, contexto y caché de prompts 11 Economía de la inferencia en GPU y del despliegue
- Caché de prompts también Prompt caching
-
Una funcionalidad del proveedor que cobra o procesa de otra forma un prefijo de entrada repetido. Las escrituras, las lecturas, los TTL y los tamaños mínimos varían según el proveedor, así que revisa los campos de tokens en caché de la respuesta antes de contar ahorros.
- Caché de respuestas también Response caching
-
Reutilizar un resultado anterior válido para las mismas entradas, con una clave basada en el contenido y las versiones y aislada por tenant. Puede ahorrar una llamada entera. La caché semántica, que empareja entradas parecidas en lugar de idénticas, es más arriesgada.
En 07 Memoria de agentes, caché de respuestas y trabajo duplicado 06 Tokens, contexto y caché de prompts
- Capacidad dedicada también Capacidad fija, Dedicated capacity, Fixed capacity
-
Capacidad de inferencia reservada para ti y pagada por meses, tanto si la opera un proveedor como si la operas tú en tus propias GPU. La factura no sigue al uso, así que el tiempo ocioso lo pagas tú y el crecimiento llega por escalones.
- Cascada también Cascade
-
Empezar con un modelo más barato y escalar a uno más potente cuando una comprobación detecta un fallo o un resultado flojo. Compensa si los fallos se detectan de forma fiable y las comprobaciones son baratas.
En 04 Enrutamiento, cascadas y presupuestos de razonamiento 03 Elige el modelo que necesita la tarea
- Compactación de contexto también Context compaction
-
Sustituir una transcripción larga por un estado de trabajo más corto: objetivo, restricciones, hallazgos, enfoques fallidos y dónde está la evidencia. Consume tokens en sí misma y puede romper la reutilización del prefijo del prompt, así que hazla cuando la reducción lo justifique.
En 07 Memoria de agentes, caché de respuestas y trabajo duplicado 09 Bucles de agentes, validación y reintentos
- Conjunto de evaluación también Eval set, Evaluation set
-
Un conjunto fijo de casos reales con resultados correctos conocidos, que sirve para comparar modelos o prompts antes de cambiar y para detectar regresiones después de un cambio. Ejecutarlo cuesta dinero, y ese coste forma parte de la decisión.
- Coste asignado también Allocated cost
-
La parte de una factura fija que se atribuye a cada tarea, como un servicio de 1.000 $ al mes dividido entre las tareas que ha gestionado. Cambia con el volumen aunque la factura no cambie. Compáralo con el coste marginal.
En 01 El coste real de una tarea de IA 11 Economía de la inferencia en GPU y del despliegue
- Coste marginal también Marginal cost
-
Lo que una tarea más añade a la factura. En capacidad fija con margen de sobra puede estar cerca de cero; cuando el servicio se satura, la siguiente tarea puede exigir un nivel nuevo.
En 01 El coste real de una tarea de IA 12 La economía de una funcionalidad de IA
- Coste por tarea aceptada también Cost per accepted task
-
El coste atribuible total del flujo dividido entre las tareas aceptadas: inferencia, recuperación, herramientas, reintentos, cómputo, corrección humana y una parte de la capacidad fija. Es la métrica central de la guía: el trabajo fallido y abandonado se carga al trabajo que salió bien.
En 01 El coste real de una tarea de IA 02 Construye una línea base de costes útil
- Coste total de propiedad también TCO, Total cost of ownership
-
Todo lo que cuesta operar un servicio: inferencia o hardware, más failover, red, monitorización, actualizaciones, seguridad y tiempo de ingeniería, con la migración única mostrada aparte.
En 11 Economía de la inferencia en GPU y del despliegue 13 El manual de optimización
- Cuantización también Quantization
-
Guardar los pesos con menos precisión, por ejemplo 8 o 4 bits en lugar de 16. Reduce la memoria y puede aumentar el rendimiento en hardware compatible, pero puede cambiar el comportamiento del modelo.
En 11 Economía de la inferencia en GPU y del despliegue 05 Qué cambian de verdad los modelos de pesos abiertos
- Decode también Decodificación
-
La fase en la que un modelo genera los tokens de salida de uno en uno. Exige al hardware de forma distinta que el prefill, y por eso las entradas largas y las salidas largas cuestan distinto de servir.
- Destilación también Fine-tuning, Distillation
-
Entrenar un modelo más pequeño para hacer una tarea acotada y estable que hoy resuelve uno más grande. Puede bajar el coste por llamada, y añade costes de entrenamiento, evaluación, alojamiento y reentrenamiento. La licencia tiene que permitirlo.
En 03 Elige el modelo que necesita la tarea 05 Qué cambian de verdad los modelos de pesos abiertos
- Enrutamiento también Routing
-
Elegir un modelo para cada petición. Cuando la aplicación ya conoce la operación, una tabla de consulta estática es más sencilla que pedirle a un modelo que enrute a otro modelo.
- Fragmentación también Chunking
-
Cómo se dividen los documentos antes de indexarlos para la recuperación. Los fragmentos demasiado pequeños separan una regla de su excepción; los demasiado grandes meten texto irrelevante en cada petición.
- Idempotencia también Idempotency
-
La propiedad de que repetir la misma operación prevista tenga el mismo efecto que hacerla una vez. Necesita una identidad de operación duradera y, para efectos secundarios como pagos o correos, un contrato que el servicio de destino admita. Es distinta de la caché de respuestas.
En 07 Memoria de agentes, caché de respuestas y trabajo duplicado
- KV cache también Caché KV
-
El estado de atención que una petición construye al leer su entrada y que luego lee cada paso de decode. Crece con la longitud del contexto y con el número de peticiones concurrentes, y por eso los contextos largos necesitan más memoria de GPU.
En 11 Economía de la inferencia en GPU y del despliegue 06 Tokens, contexto y caché de prompts
- Margen de contribución también Contribution margin
-
Los ingresos netos de una tarea o una cuenta menos el coste variable de servirla. Usado por funcionalidad, muestra qué patrones de uso se pagan solos antes de incluir los gastos generales de la empresa.
- Mezcla de expertos también MoE, Mixture of experts
-
Una arquitectura de modelo que activa solo una parte de sus parámetros para cada token. Servirlo sigue exigiendo memoria para todos los pesos, así que el número de parámetros activos se queda corto respecto a lo que hace falta para alojarlo.
En 05 Qué cambian de verdad los modelos de pesos abiertos 11 Economía de la inferencia en GPU y del despliegue
- Modelo de pesos abiertos también Open-weight model
-
Un modelo cuyos pesos se publican para que otros lo ejecuten, con una licencia que varía según la versión. Descargarlo no cuesta nada, pero ejecutarlo sí lo pagas, a través de una API, de capacidad gestionada o de tus propias GPU.
- P95 también Percentil 95
-
El valor por debajo del cual queda el 95 % de las observaciones. Se usa para la latencia y para el coste por tarea, porque unas pocas ejecuciones largas pueden llevar la cola muy por encima de la mediana, y la media las oculta.
En 01 El coste real de una tarea de IA 11 Economía de la inferencia en GPU y del despliegue
- Periodo de recuperación también Payback, Payback period
-
El coste único dividido entre el ahorro neto mensual. Solo tiene sentido cuando el ahorro mensual es positivo; los costes únicos se quedan fuera de la cifra mensual.
En 13 El manual de optimización 11 Economía de la inferencia en GPU y del despliegue
- Plan de tarifa plana también Inferencia de tarifa plana, Flat-rate plan, Flat-rate inference
-
Una cuota periódica por un servicio de inferencia definido, con asignaciones por modelo y límites operativos. Ningún plan de este tipo es ilimitado, así que comprueba que tu carga de trabajo cabe en sus asignaciones, rate limits, concurrencia y latencia.
En 14 Cuándo tiene sentido la inferencia de tarifa plana 12 La economía de una funcionalidad de IA
- Prefill también Fase de prefill
-
La fase en la que un modelo lee la entrada antes de generar. Los prompts largos y el contexto recuperado la encarecen; la caché de prefijos puede evitar repetirla.
En 11 Economía de la inferencia en GPU y del despliegue 06 Tokens, contexto y caché de prompts
- Presupuesto de razonamiento también Esfuerzo de razonamiento, Reasoning budget, Reasoning effort
-
Un control que exponen algunos modelos de razonamiento para limitar la generación interna antes de la respuesta. Ajústalo por operación; un límite de tokens de salida no lo sustituye y, en su lugar, puede truncar la respuesta.
En 04 Enrutamiento, cascadas y presupuestos de razonamiento 03 Elige el modelo que necesita la tarea
- RAG también Generación aumentada por recuperación, Retrieval-augmented generation
-
Recuperar los pasajes relevantes y enviarlos al modelo junto con la pregunta. Su coste abarca la ingesta, los embeddings, el almacenamiento, la recuperación, el reranking y cada token de contexto que añade.
- Reranking también Reordenación
-
Una segunda pasada que reordena los pasajes recuperados para que solo lleguen al modelo los más relevantes. La pasada extra tiene un coste, que solo se recupera si recorta suficiente contexto o mejora lo bastante las respuestas.
- Showback también Chargeback
-
Informar del gasto en IA al equipo o la funcionalidad que lo generó. El chargeback va un paso más allá y lo carga a su presupuesto. Los dos exigen antes etiquetar los costes por equipo o funcionalidad.
- Tarea aceptada también Accepted task
-
Una tarea cuyo resultado cumple los requisitos que definiste para esa operación. En una extracción, por ejemplo: la forma correcta, coherente con las reglas de negocio y correcta respecto a la fuente. Ese listón lo fija tu producto. Una respuesta correcta de la API no basta por sí sola para cumplirlo.
En 01 El coste real de una tarea de IA 02 Construye una línea base de costes útil
- Tasa de aceptación también Acceptance rate
-
Las tareas aceptadas divididas entre las tareas de la cohorte. Muéstrala junto al coste por tarea aceptada, porque cada número por separado oculta el comportamiento. Relajar o endurecer la aceptación puede mover los dos.
En 02 Construye una línea base de costes útil 12 La economía de una funcionalidad de IA
- Tasa de escalado también Escalation rate
-
La proporción de peticiones que una cascada pasa al modelo más potente. Junto con el coste de cada comprobación, decide si la cascada sale más barata que usar directamente el modelo más potente.
En 04 Enrutamiento, cascadas y presupuestos de razonamiento 03 Elige el modelo que necesita la tarea
- Tokens por minuto también TPM, Tokens per minute
-
Un rate limit sobre cuántos tokens puede procesar una key o una cuenta cada minuto. Una asignación mensual dice poco de él, así que comprueba por separado los TPM, la tasa de peticiones y la concurrencia.
- Volumen de equilibrio también Punto de equilibrio, Break-even volume
-
El volumen mensual en el que una opción de coste fijo cuesta lo mismo que una de pago por uso: la cuota fija dividida entre el ahorro variable por tarea. Solo es válido mientras la capacidad, la calidad y el servicio sigan siendo comparables, así que trátalo como el límite de un escenario.
En 11 Economía de la inferencia en GPU y del despliegue 14 Cuándo tiene sentido la inferencia de tarifa plana