Saltar al contenido
AI•5 min de lectura

Cold starts en serverless GPU, el problema que vLLM está aprendiendo a resolver

Tu agente recibe 3 requests por hora. Con un pod de H100 dedicado pagas 720 horas al mes para usar 3. La alternativa, serverless GPU, cobra por segundo de GPU real, pero cada cold start te carga el modelo desde cero, y cargar 30 GB de pesos antes del primer token es exactamente el tipo de espera que mata un producto conversacional.

El problema del cold start en vLLM es conocido y estaba poco documentado. Un paper académico de junio lo analizó formalmente, y desde septiembre el propio vLLM está cerrando la brecha con herramientas que cambian el cálculo. - Fuente Breaking the Ice, análisis de cold start en vLLM

De dónde sale el cold start

Cargar vLLM tiene cuatro costos que se suman. Importar Python y sus dependencias, leer los pesos del disco hacia la RAM, cuantizar y preparar los tensores, y capturar los CUDA graphs con el autotuning de kernels. En un H100 con un modelo de 30 GB, ese total fácilmente pasa del minuto.

La parte que más sorprende a quien mide por primera vez es la captura de CUDA graphs. Antes de la optimización del GC, capturar tomaba 12 segundos y la inicialización completa 28.9 en H200. El fix de congelar el garbage collector durante la captura bajó esos números a 2 y 8.2 segundos respectivamente. - Fuente PR #54646

Y todo esto ocurre por contenedor. Si tu plataforma serverless escala a cero y levanta réplicas bajo demanda, cada réplica paga el peaje completo.

Lo que vLLM trae ahora para atacarlo

Tres herramientas nuevas del último trimestre atacan el problema desde ángulos distintos.

vllm preload y el daemon de pesos. La v0.30 introdujo un cache de pesos persistente que mantiene tensores post-cuantización residentes en GPU entre restarts, con un endpoint de health para saber cuándo está listo. El restart deja de leer 30 GB del disco cuando el daemon sigue vivo. - Fuente v0.30.0 release

vllm snapshot create/restore. La v0.31 agregó, experimental, snapshots del engine completo vía CRIU. Un engine TP1 inicializado se restaura desde el snapshot sin repetir carga ni warmup. Para serverless con tiers calientes es el camino natural, aunque hoy está limitado a TP1 y conviene probarlo en tu hardware antes de casarte con él. - Fuente PR #51360

Bytecode de Python pre-compilado. Las imágenes de vLLM ahora shippean bytecode para evitar la recompilación de imports al arrancar. El ahorro medido es de unos 18 segundos por startup en servidores H100.Gratis, solo actualiza imagen. - Fuente Reducing vLLM startup time

# arrancar con preload activo
vllm serve $MODEL --load-format ipc_cache

# snapshot experimental de un engine TP1 inicializado
vllm snapshot create --snapshot-path /mnt/cache/engine.snap
vllm snapshot restore --snapshot-path /mnt/cache/engine.snap

La decisión real, dedicated pod contra serverless

El cálculo que hago con mis pods de RunPod, con números de noviembre de 2026.

Un H100 dedicado cuesta alrededor de 2 a 3 dólares la hora según el proveedor, 1440 a 2160 dólares al mes a 24/7. Si tu servicio mantiene tráfico constante, el dedicado gana siempre, no hay cold start y el VRAM completo es tuyo.

Serverless cobra por segundo de ejecución más un precio de cold boot, y plataformas como RunPod Flash prometen arrancar sin la capa de docker. Con tráfico esporádico, digamos 500 requests al día de 10 segundos cada uno, el costo de cómputo real es de 5000 segundos al mes, unas 1.4 horas. Aún pagando 5 cold starts de 60 segundos al día, la factura se mueve en decenas de dólares contra miles del pod dedicado. - Fuente RunPod Flash, serverless dockerless

El punto de equilibrio aparece con el cold start multiplicado por frecuencia. Un modelo que tarda 90 segundos en arrancar y recibe un request cada 5 minutos está frio el 70% del tiempo. Con vllm preload y snapshots ese tiempo de frío baja, y la franja donde serverless paga se ensancha. Mi regla práctica después de medirlo, menos de un request por minuto en horas valle, serverless. Entre uno y diez por minuto constante, pod dedicado con autoscaling manual. Más de eso, dedicado puro.

El patrón híbrido que uso

Para productos con tráfico de oficina, pico de día y silencio de noche, el patrón que mejor me funciona combina las dos cosas.

El pod dedicado mantiene el modelo caliente durante las horas de tráfico real y se apaga de noche. Un tier serverless con snapshot cubre los requests nocturnos, aceptando latencia degradada para ese tráfico marginal. El router en LiteLLM decide por hora del día y por cola. Es más piezas que un solo pod, pero la factura baja entre 60 y 70% en los productos donde lo probé, y el p95 nocturno sigue por debajo de 30 segundos con snapshot.

Tips para tu setup

  1. Mide tu cold start real antes de decidir. Un cron que levante el contenedor y cronometre hasta el primer token exitoso. Ese número es el que decide, no el del paper.
  2. Mantén el HF cache en volumen persistente. En RunPod, un volume montado en ~/.cache/huggingface evita re-descargar 30 GB por arranque. Es la diferencia entre 90 y 200 segundos de cold start.
  3. Precalienta con requests sintéticos. Después de arrancar, manda 3 requests reales de tu patrón antes de abrir el tráfico. El autotuning de kernels en el primer batch real es lento.
  4. Snapshot solo si tu engine es TP1. El soporte experimental de CRIU cubre TP1 hoy. Con TP8, el preload de pesos sigue siendo tu mejor herramienta.
  5. Vigila el roadmap Q4. La lista oficial incluye expandir FP4 KV con offloading a disco y extender los conectores de KV. El frío va a seguir bajando. - Fuente Roadmap Q4 2026

El serverless GPU para LLM dejó de ser promesa y empezó a ser aritmética. Con preload y snapshots, la aritmética cada vez favorece más al que no quiere pagar horas vacías.

¿Tu carga de tráfico justifica un pod dedicado, o estás pagando horas vacías sin saberlo? Cuéntame en los comentarios.


> Más posts