Servir agentes con vLLM en tu propia GPU
Una sesión de Claude Code son unas 174 peticiones de 100.000 tokens. Qué le hace eso a una GPU, por qué con agentes se acaba antes el cálculo que la memoria y la misma cuenta en una gráfica de 16 GB.
Architecture
11 entradas
DeepInfer: cómo funciona el motor de inferencia de DeepSeek
DeepSeek ha liberado DeepInfer, el motor con el que sirve V4.1 Flash. Cómo funciona, qué optimizaciones trae y cómo leer sus benchmarks.
Cómo y dónde viaja la información que le das a la IA
El prompt que escribes es solo una fracción de lo que un sistema de IA acaba enviando al modelo. Qué viaja de verdad, dónde cruza y qué queda al otro lado.
Soberanía de la IA: ¿quién controla la inteligencia de tu empresa?
Saber dónde se ejecuta tu inteligencia, qué ocurre con tus datos y si todavía puedes cambiar esas decisiones. Un marco para la soberanía de la IA.
DeepSeek V4.1 Flash y los 890 bytes que importan para los agentes
Ya está en Helmcode y sustituye a V4 Flash sin coste extra. Rediseña la inferencia para una carga cada vez más común: agentes que leen mucho más de lo que escriben.
Crea tu propio Granola con modelos abiertos
Graba y transcribe tus reuniones con modelos abiertos, conviértelas en datos estructurados y monta una memoria buscable de todas tus conversaciones.
¿Compensa montarte tu propia infraestructura para correr modelos abiertos? Hemos hecho números
Un nodo de 8 H200 para GLM-5.2 cuesta 25.250 € al mes antes de servir un solo token. Los números completos, el break-even y cuándo gana el hardware propio.
Cordis: el paper detrás de la arquitectura de DeepSeek Harness
Los cinco teoremas del paper de Cordis, el framework de plugins detrás de DeepSeek Harness, explicados en lenguaje llano y con lo que ya corre en producción.
GLM 5.2 orquesta, DeepSeek V4 Flash ejecuta
Cómo diseñar sistemas multi-modelo donde un LLM abierto planifica, otro ejecuta y el contexto que se pasan entre ellos es eficiente.
Qué GPU necesitas para servir modelos de IA
FP8, NVFP4, H200, B200: qué acelera en hardware cada generación de NVIDIA, cuánta VRAM necesita tu modelo y qué GPU comprar. Con datos de producción reales.
Moving Down from Serverless to Kubernetes
Before we start, a bit of context. The infrastructure is hosted on AWS and the architecture was based on Serverless services: