Local inference in 2026: from LM Studio to vLLM (with VRAM math)
Instalé LM Studio un sábado por curiosidad. Dos horas después tenía un modelo corriendo en mi máquina y una pregunta nueva: si esto es tan fácil, ¿por qué la gente habla de VRAM como si fuera un problema? La respuesta llegó cuando intenté que dos personas lo usaran a la vez.
Esta pieza es el camino que hice: de la comodidad de LM Studio al servidor, con la cuenta de memoria que decides antes de elegir cualquier cosa.
Los tres runners (y para qué es cada uno)
| Runner | Para qué | Cuándo |
|---|---|---|
| LM Studio | App de escritorio, descarga y corre modelos con GUI. Trae servidor local compatible con OpenAI y opciones avanzadas como speculative decoding y parallel requests. | Aprender, probar, uso personal |
| llama.cpp / Ollama | Runtime eficiente en CPU y Apple Silicon; formato gguf. | Sin GPU dedicada, o en Mac |
| vLLM | Servidor de inferencia con batching continuo y API compatible con OpenAI | Varios usuarios, producción |
Fuente: LM Studio Docs · vLLM V1 - vLLM Team
La matemática de VRAM (antes de descargar nada)
La cuenta es simple y evita frustraciones:
VRAM ≈ pesos + caché KV + overhead
pesos = parámetros × bytes por parámetroCon los bytes por precisión:
| Modelo | FP16 (2 B) | 8-bit (1 B) | 4-bit (~0.5 B) |
|---|---|---|---|
| 7B | ~14 GB | ~7 GB | ~3.5 GB |
| 13B | ~26 GB | ~13 GB | ~6.5 GB |
| 32B | ~64 GB | ~32 GB | ~16 GB |
| 70B | ~140 GB | ~70 GB | ~35 GB |
Es aritmética, pero contrasta bien con la práctica: en un trabajo con Llama 7B (14 GB en FP16) y Llama 13B (27 GB en FP16) sobre una GPU de 16 GB, el 13B no cabía sin cuantización. - Source: Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA - Hugging Face
Falta el segundo término: la caché KV crece con el contexto y con el número de peticiones simultáneas. Un 7B que "cabe" con un usuario a 4k de contexto puede no caber con ocho usuarios a 32k. Antes de comprar o alquilar, suma las dos cosas.
De LM Studio a vLLM
LM Studio te da el "funciona en mi máquina": descargas, cargas en memoria y chateas. La memoria que asigna al cargar es justamente pesos + margen. - Source: LM Studio Docs
vLLM entra cuando el problema deja de ser "¿cabe?" y pasa a ser "¿cuántos a la vez?". Su motor es de batching continuo y API compatible con OpenAI, y reporta hasta 1.7x más throughput que su versión anterior en Llama 3.1 8B y Llama 3.3 70B. - Source: vLLM V1 - vLLM Team
Lo que nadie te dice: la CPU también importa
Un detalle que cambia cómo ves el hardware: con Llama-8B en una NVIDIA H100, el tiempo de ejecución en GPU puede ser de ~5 ms. El resto del tiempo se va en CPU: tokenizar, preparar inputs, des-tokenizar y hacer streaming. - Source: vLLM V1 - vLLM Team
Traducción: si tu servidor local va lento con un modelo chico, quizá no es la GPU. Es el loop y la CPU alrededor.
Cuándo dar el salto
- Un usuario, probar, aprender → LM Studio.
- Mac o sin GPU → llama.cpp.
- Varios usuarios o un producto → vLLM (y su batching continuo).
- Necesitas que quepa algo más grande → cuantiza, y mide la calidad. → Cuantización con números
- No quieres administrar nada → GPU alquilada por hora. → ¿Qué hardware necesitas?
El recorrido completo está en la guía Inference Engineering: de cero a producción.
¿Corres modelos en local? Cuéntame en los comentarios con qué GPU y qué modelo, y si te cupo a la primera (a mí no).