[ Bitácora y pergaminos ]Migración desde Codea Bien
Blog
Lo que rompí, lo que medí y lo que aprendí.
- NOV 2026AI #vllm #tool calls
Tool calls rotos en vLLM, el parser genérico hf y el dolor #1 de la comunidad
Tu agente llama una función, el modelo responde con el JSON del tool call, y tu servidor lo parsea mal. El agente reintenta, el usuario espera, y el thread de soporte se llena de l…
5 min // 250 xp
- NOV 2026AI #vllm #kv cache
El KV cache compartido es una superficie de ataque, lo que el leak de SGLang te enseña
El 26 de octubre el equipo de SGLang publicó la revelación de una fuga de información entre requests en su configuración de PD disaggregation. Un request podía terminar leyendo KV…
5 min // 250 xp
- NOV 2026AI #vllm #kv cache
KV cache para agentes multi-turno, el costo escondido de tus agentes
Un agente que conversa con tu API hace algo que un chatbot de 2024 no hacía. Vuelve. El turno 12 de la misma conversación reenvía los 11 turnos anteriores como contexto, y tu servi…
5 min // 250 xp
- NOV 2026AI #vllm #serverless gpu
Cold starts en serverless GPU, el problema que vLLM está aprendiendo a resolver
Tu agente recibe 3 requests por hora. Con un pod de H100 dedicado pagas 720 horas al mes para usar 3. La alternativa, serverless GPU, cobra por segundo de GPU real, pero cada cold…
5 min // 250 xp
- NOV 2026AI #vllm #migración
Sobrevivir al tren de releases de vLLM, guía de migración para 2026
vLLM saca una versión menor cada dos semanas. Septiembre trajo la v0.29 con Model Runner V2 como default, octubre trajo la v0.31 y la v0.32 con Python 3.10 fuera y cascade attentio…
5 min // 250 xp
- NOV 2026AI #vllm #sglang
vLLM vs SGLang en una H100 alquilada, el benchmark que nadie publica
Todos los números impresionantes de inferencia vienen de racks que nadie alquila. GB300 NVL72, Vera Rubin, AgentX. Mientras tanto, la pregunta real de quien alquila una H100 por ho…
6 min // 300 xp
- OCT 2026Angular #vllm #ai
Cuando una GPU no basta: multi-GPU y P/D disaggregation
Tu server mono-GPU va bien hasta que el p99 de inter-token latency se dispara. El culpable suele ser un prompt de 30K tokens que entra mientras diez requests generan: todo se detie…
5 min // 250 xp
- OCT 2026AI #seo #geo
SEO, GEO y AEO: qué significa optimizar cuando la IA responde primero
Conocía el SEO, pero los términos GEO y AEO me tomaron por sorpresa; no tenía ni idea de su existencia hasta hace poco. Y no es que haya estudiado marketing: llevo años programando…
13 min // 650 xp
- OCT 2026Angular #vllm #ai
Speculative decoding: baja tu TPOT con MTP y EAGLE-3
El número que define si tu agente se siente rápido no es el throughput: es el TPOT, el tiempo entre token y token. Speculative decoding lo baja sin tocar el hardware, con un truco…
3 min // 150 xp
- OCT 2026Angular #vllm #ai
Structured outputs y tool calling: tu vLLM deja de devolver prosa
Tu servidor vLLM del capítulo 5 responde texto. Un agente necesita JSON ejecutable: nombres de funciones, argumentos tipados, campos que un cliente puede parsear sin un regex pegad…
4 min // 200 xp