Cómo montar un server de inferencia para servir modelos de IA
En este post os cuento cómo estan montados los servidores de inferencia de la comunidad. El hardware que utilizamos, el stack que corremos y los modelos que servimos.
3 posts
En este post os cuento cómo estan montados los servidores de inferencia de la comunidad. El hardware que utilizamos, el stack que corremos y los modelos que servimos.
He pasado varias horas durante varios días documentando y optimizando todo mi entorno local para poder "mecanizar" el trabajo que hago día a día administrando infraestructura de multiples Startups.
Este post no pretende ser una guía de cómo usar Clawd sino más bien una muestra de cómo lo estamos implementando en Helmcode para poder tener un AI Agent que nos ayude con las tareas de nuestro día a día administrando infraestructura Cloud de múltiples startups.