Servir agentes con vLLM en tu propia GPU
Una sesión de Claude Code son unas 174 peticiones de 100.000 tokens. Qué le hace eso a una GPU, por qué con agentes se acaba antes el cálculo que la memoria y la misma cuenta en una gráfica de 16 GB.
10 entradas
Una sesión de Claude Code son unas 174 peticiones de 100.000 tokens. Qué le hace eso a una GPU, por qué con agentes se acaba antes el cálculo que la memoria y la misma cuenta en una gráfica de 16 GB.
DeepSeek ha liberado DeepInfer, el motor con el que sirve V4.1 Flash. Cómo funciona, qué optimizaciones trae y cómo leer sus benchmarks.
Si hoy usas Claude, GPT o Gemini, qué modelo abierto probaríamos primero para hacer el mismo trabajo, comparado por clase de modelo y por carga de trabajo.
Graba y transcribe tus reuniones con modelos abiertos, conviértelas en datos estructurados y monta una memoria buscable de todas tus conversaciones.
Once modelos abiertos resuelven los 80 casos de empresa de nuestra guía. Los tres ejes que deciden cuál, y quince casos con el suyo al lado.
Qué automatiza de verdad un ayuntamiento pequeño con modelos abiertos: registro, actas, bandos, subvenciones y ordenanzas, siempre con revisión humana.
Anthropic va a marcar el texto de Claude, y la razón es el artículo 50 del AI Act. Qué obliga, a quién, qué queda exento y qué cambia con los modelos abiertos.
La versión tranquila del AI Act: qué obligaciones te aplican de verdad desde el 2 de agosto, cuáles movió el Ómnibus y qué conviene tener listo.
FP8, NVFP4, H200, B200: qué acelera en hardware cada generación de NVIDIA, cuánta VRAM necesita tu modelo y qué GPU comprar. Con datos de producción reales.
La diferencia entre una imagen con 'cara de IA' y una profesional no es el modelo: es el prompt. Guía completa para generar imágenes increíbles en Helmcode.
// cookies
Solo usamos cookies estrictamente necesarias para que el sitio funcione. Nada de analítica ni publicidad, nunca — consulta la Política de cookies.
// preferencias