AI for Dummies - Parte 1
En este post aprenderemos lo que son los parámetros y la cuantización para saber cuánto ocupan los modelos de IA.
6 articles
En este post aprenderemos lo que son los parámetros y la cuantización para saber cuánto ocupan los modelos de IA.
En este post os cuento cómo estan montados los servidores de inferencia de la comunidad. El hardware que utilizamos, el stack que corremos y los modelos que servimos.
He pasado varias horas durante varios días documentando y optimizando todo mi entorno local para poder "mecanizar" el trabajo que hago día a día administrando infraestructura de multiples Startups.
Este post no pretende ser una guía de cómo usar Clawd sino más bien una muestra de cómo lo estamos implementando en Helmcode para poder tener un AI Agent que nos ayude con las tareas de nuestro día a día administrando infraestructura Cloud de múltiples startups.
Kubernetes es una de las herramientas más utilizadas en infraestructura por las empresas y se ha convertido en el estándar cuando se trata de llevar aplicaciones en contenedores a escala en todo el mundo.
Antes de empezar, un poco de contexto. La infraestructura está alojada en AWS y la arquitectura estaba basada en servicios Serverless: