Qué es servir un modelo de IA (y por qué existe vLLM)
Capítulo 01 // 5 min
Guía8/8 capítulos
vLLM desde cero: tu primer servidor de inferencia
De cero a tu propio servidor vLLM en una GPU alquilada: 8 capítulos prácticos, por menos de $5 y con números medidos en cada paso.
Guía: lista cerrada sobre un tema, de principio a fin.
Actualizado:
Progreso100%
Una guía práctica para pasar de cero conocimiento de inferencia a tu propio servidor vLLM en una GPU alquilada: por menos de $5 y con números medidos en cada paso.
Qué vas a construir
- Un modelo local corriendo en tu máquina con Ollama
- Un servidor vLLM con un modelo de 30B en FP8 en una GPU de 48 GB
- Un gateway con llaves por persona, presupuestos y logs
- Tus propios benchmarks de TTFT, tokens/s y concurrencia
Son 8 capítulos, cada uno con comandos que corrieron en un pod real y un checkpoint de tiempo y costo. Empieza por el capítulo 1 y no saltes pasos: cada uno monta sobre el anterior.
Tu primer modelo local en 10 minutos (Ollama)
Capítulo 02 // 4 min
Alquila tu primera GPU sin miedo (~$1 la hora)
Capítulo 03 // 3 min
Tu primer servidor vLLM (hello world)
Capítulo 04 // 3 min
Los 5 flags de vLLM que importan de verdad
Capítulo 05 // 4 min
Mide tu vLLM: TTFT, tokens/s y concurrencia sin engañarte
Capítulo 06 // 4 min
LiteLLM: llaves, presupuestos y la factura de tu vLLM
Capítulo 07 // 5 min
Cuando explota: los 7 errores de servir vLLM en GPU alquilada
Capítulo 08 // 4 min