Un modelo de 30.000 millones de parámetros corre más rápido que uno de 8.000 en la misma GPU, porque solo activa 3.000 millones por token. Así funciona el Qwen3-30B-A3B de Alibaba, y de esa lógica vive el catálogo actual de modelos locales. Con Ollama ya instalado, ejecutar uno de estos modelos son dos comandos y una descarga de unos cinco gigas.
Llama, Qwen y Mistral: tres familias que cubren casi todo
Meta mantiene Llama en todos los tamaños: Llama 3.1 8B sigue siendo el punto de entrada habitual, y Llama 4 Scout, presentado en abril de 2025, apuesta por la arquitectura MoE con 17B de parámetros activos y un contexto anunciado de hasta 10 millones de tokens. La licencia tiene letra pequeña: es comercial hasta 700 millones de usuarios activos mensuales, y a partir de ahí toca negociar.
Alibaba empuja Qwen con más variedad: la serie Qwen3 (abril de 2025) va de 0.6B a 235B y permite activar o desactivar el modo de razonamiento, mientras que Qwen2.5-Coder-32B, con licencia Apache 2.0, se puso a la altura de GPT-4o en tareas de código según los resultados que publicó el propio Alibaba. QwQ-32B cubre el nicho de los modelos razonadores dentro del mismo catálogo.
Mistral apuesta por la eficiencia: Mistral 7B salió bajo licencia Apache 2.0, y Mistral Small 3 (24B) está pensado para correr rápido en una sola GPU con soporte de visión. Si quieres una cuarta vía, Google mantiene Gemma 3 con tamaños de 1B a 27B. Elige por licencia y tipo de tarea, no por el titular del anuncio: Apache 2.0 te deja montar producto comercial sin negociar nada.
Cuantización: por qué tu 8B cabe en cinco gigas
El formato GGUF, heredado del ecosistema llama.cpp, comprime los pesos a pocos bits. En Q4_K_M, un Llama 3.1 8B ocupa unos 5 GB; el mismo modelo a Q8 sube algo por encima de 8 GB; un 70B a Q4 supera los 40.
El caché KV se cobra aparte: cada token de contexto reserva memoria adicional, así que pedir 32k de contexto en un portátil puede tumbar la sesión aunque los pesos quepan. Tu GPU ejecuta los bits que le pides, pero el contexto también cuenta. Comprueba el tamaño del GGUF concreto antes de descargar: el mismo modelo puede variar varios GB según el tag de cuantización.
Ollama y el resto de herramientas
Ollama envuelve llama.cpp bajo una interfaz limpia: ollama run llama3.1 descarga y ejecuta en macOS, Linux y Windows, expone una API compatible con OpenAI en el puerto 11434 y se ajusta con Modelfiles. Para servir a muchos usuarios concurrentes, vLLM rinde mejor; LM Studio ofrece interfaz gráfica; llama.cpp a pelo da control absoluto sobre cada parámetro.
Un detalle que traga mucha gente: el contexto por defecto de Ollama fue durante años de 2.048 tokens, así que sin tocar num_ctx el modelo empieza a truncar tu system prompt antes de lo esperado. Cuando quieras llevar esto a producción con privacidad y aislamiento de verdad, en el artículo sobre cómo montar un bot de Telegram con IA local y Ollama describo el proceso completo en cómo montar un bot de Telegram con IA local
Comparativa: qué modelo según cuánta VRAM
Con 6-8 GB, los 7-9B en Q4 son territorio cómodo: Llama 3.1 8B, Qwen3 8B o Mistral 7B corren a decenas de tokens por segundo en una tarjeta tipo RTX 3060. Con 12-16 GB puedes subir a 12-14B (Gemma 3 12B, Qwen3 14B) o probar el truco MoE descargando Qwen3-30B-A3B, que en Q4_K_M ocupa algo menos de 20 GB y reparte parte de los pesos a la CPU.
Con 24 GB (3090/4090) entran los 32B en Q4: Qwen2.5-Coder 32B si programas, QwQ-32B si necesitas razonamiento, o Mistral Small 24B para uso general. Para un 70B en Q4 hacen falta más de 40 GB, territorio de los Mac con memoria unificada o de estaciones con varias GPU. Ajusta la elección a tu flujo de trabajo diario, no al número más grande del ranking.
Benchmarks: qué mirar y qué ignorar
Cada lanzamiento llega con su tabla de benchmarks elegida a dedo: Meta, Alibaba y Mistral publican comparaciones donde el suyo gana. MMLU es el clásico, y suites recientes como GPQA o LiveCodeBench miden razonamiento y código, pero ninguna dice cómo responde el modelo a tus prompts con tu jerga y tu dominio.
Aplica dos filtros. Primero, la cuantización degrada algo la calidad respecto al original y a mayor compresión, mayor error, de modo que compara modelos con cuantizaciones equivalentes. Segundo, el lm-evaluation-harness de EleutherAI corre baterías estandarizadas en tu hardware si quieres números reproducibles. El test que de verdad manda es el tuyo: reúne 20 o 30 prompts reales de tu trabajo y haz competir a los finalistas.
De un modelo suelto a un stack de automatización
Todo lo que ejecuta Ollama expone esa API compatible con OpenAI, así que cualquier script que ya hable con GPT puede apuntar a localhost sin facturas por token. Los modelos locales encajan bien como motor constante de un servicio propio, dejando la nube para los picos puntuales. Si el siguiente paso es componer varios contenedores (agente, interfaz, proxy), el artículo sobre Hermes Agent con Docker Compose muestra un stack local de referencia con Hermes Agent y Docker Compose
Empieza en tu máquina, no en un ranking
Instala Ollama, lanza ollama run qwen3:8b y activa la salida --verbose para ver los tokens por segundo reales de tu GPU. Después trae tus propios prompts y compara contra lo que usas en la nube en latencia, calidad y contenido de las respuestas. La comparativa que importa es la que haces tú en tu tarjeta, y cada trimestre hay una nueva razón para repetirla.