Escribe ollama run llama3.1 en tu terminal y, tras unos minutos de descarga, tendrás un modelo de 8.000 millones de parámetros funcionando en tu propia máquina. No hay clave de API ni factura por token: el modelo es tuyo. La decisión ya no es si puedes ejecutar IA local, sino dónde y con qué presupuesto. Este artículo desglosa esas tres variables: hardware, alojamiento (tu equipo o un VPS) y costes.
Por qué montar tu stack en vez de pagar una API
Las APIs comerciales cobran por token, de modo que el coste crece con cada petición. El self-hosting invierte esa lógica: pagas una vez el hardware, o una cuota mensual por el servidor, y a partir de ahí cada token generado solo cuesta electricidad y tiempo. Los pesos de modelos abiertos como Llama 3.1 (Meta), Mistral, Gemma (Google) o DeepSeek son gratuitos, y Ollama, el servidor que los ejecuta, se distribuye bajo licencia MIT.
Ojo con el punto de equilibrio: si haces una docena de peticiones al mes, la API sale más barata y no requiere mantenimiento. El self-hosting compensa cuando el uso es constante o cuando los datos no pueden salir de tu red.
Ollama: un servidor de modelos con un solo comando
Ollama resume la gestión en dos verbos: pull para descargar un modelo y run para ejecutarlo. Expone una API REST en el puerto 11434 y también endpoints compatibles con la API de OpenAI, lo que permite reutilizar clientes ya escritos. Funciona como binario nativo en Linux, macOS y Windows, o en contenedor con docker pull ollama/ollama; los pesos quedan en ~/.ollama o en el volumen del contenedor.
Conviene conocer el tamaño antes de descargar: una etiqueta de 8B cuantizada a 4 bits ocupa algo menos de 5 GB. Para ver el ecosistema en acción, en el blog hay una guía completa sobre montar un bot de Telegram con IA local en tu servidor. Antes de gastar nada, haz tu propia medición: descarga llama3.2:3b (unos 2 GB) y cronometra los tokens por segundo que obtienes con el hardware que ya tienes.
Cuánta RAM y GPU necesita tu modelo
Regla rápida con cuantización de 4 bits: entre 0,5 y 0,6 GB por cada mil millones de parámetros, más lo que consuma el contexto. Un modelo de 8B cabe en 16 GB de RAM sin problemas; uno de 70B ronda los 40 GB y no cabe en una sola GPU de 24 GB, así que hace falta un Mac con 64 GB o más de memoria unificada, o repartir el modelo entre varias GPUs. El contexto cobra su parte: la caché de atención guarda estado por cada token, y con ventanas largas añade gigas a la cuenta.
En GPU doméstica, una RTX 3060 de 12 GB tiene margen para modelos de 8B a 13B en 4 bits, y una RTX 4090 con sus 24 GB abre paso a modelos en el entorno de los 30B. En CPU puro, los modelos de 1B a 3B resultan fluidos para uso personal y los de 8B son lentos pero utilizables. Empieza pequeño y sube de tamaño solo cuando la latencia con tu carga real te lo imponga.
VPS: inferencia remota sin comprar hardware
Un VPS da disponibilidad 24/7, IP fija y copias de seguridad gestionadas, así que encaja bien como capa de servicios. Para modelos pequeños (1B o 3B) basta un plan con 4 u 8 GB de RAM; proveedores como Hetzner, Contabo u OVH tienen opciones en la franja de pocos euros al mes. La inferencia pesada en la nube es otro asunto: el alquiler de GPU por horas en plataformas como RunPod o Vast.ai resulta viable para trabajos puntuales y caro si el uso es continuo.
Hay un compromiso que valorar: todo lo que envíes al VPS pasa por un tercero, así que parte del beneficio de privacidad del self-hosting se diluye. Para muchas cargas el reparto natural es este: el VPS alberga el bot, los proxies o los agentes, y los modelos corren en tu servidor de casa.
El stack completo con Docker
Docker convierte el conjunto en dos servicios declarativos: ollama/ollama para la inferencia y Open WebUI, que su proyecto publica como imagen, para la interfaz de chat. Un docker-compose.yml con ambos, un volumen para los pesos y una política de reinicio se escribe en minutos y queda versionado en Git. Si el siguiente paso son agentes con acceso a herramientas, en el blog hay una guía sobre Hermes Agent y automatización con Docker Compose.
Configura healthchecks en el compose y persiste los pesos en un volumen nombrado: recrear el contenedor no debe obligarte a re-descargar varios GB.
Costes: lo que pagas una vez y lo que pagas cada mes
Haz cuentas con tres partidas bien distintas: el hardware es un pago único, el VPS una cuota mensual y la electricidad un coste proporcional al uso. Un cálculo orientativo: una GPU consumiendo unos 300 W durante cuatro horas diarias suma 440 kWh al año; con tarifas domésticas comunes en España ese consumo queda en decenas de euros anuales, no en cientos.
Registra durante una semana cuántas peticiones haces y de qué longitud. Con esos datos decides entre comprar GPU, contratar VPS o quedarte como estás; los benchmarks de otras personas no responden por tu caso.
Por dónde empezar
Instala Docker, levanta Ollama con docker pull ollama/ollama y lanza un modelo de 3B en el equipo que ya tienes. Mide tokens por segundo, el tamaño de contexto que usas de verdad y la estabilidad bajo tu carga real. Si los números te bastan, no compres nada todavía; si necesitas más velocidad, fija primero el tamaño de modelo y elige después el hardware o el VPS que lo mueve. El error habitual es comprar por el equipo que usa otra gente en YouTube antes de conocer tu propio volumen de uso.