Cuando una GPU no basta: multi-GPU y P/D disaggregation
Tu server mono-GPU va bien hasta que el p99 de inter-token latency se dispara. El culpable suele ser un prompt de 30K tokens que entra mientras diez requests generan: todo se detie…
GDEKevin Davila
Software Engineer · Google Developer Expert
Software engineer con experiencia construyendo productos sólidos que resuelven problemas reales: apps móviles, bots y plataformas web sobre arquitecturas que aguantan.
Hoy me adentro en IA camino a Inference Engineer. Comparto el proceso: lo que rompí, lo que medí y lo que aprendí.
> Inventario de habilidades técnicas:
[ Bitácora y pergaminos ]Migración desde Codea Bien
Tu server mono-GPU va bien hasta que el p99 de inter-token latency se dispara. El culpable suele ser un prompt de 30K tokens que entra mientras diez requests generan: todo se detie…
Conocía el SEO, pero los términos GEO y AEO me tomaron por sorpresa; no tenía ni idea de su existencia hasta hace poco. Y no es que haya estudiado marketing: llevo años programando…
El número que define si tu agente se siente rápido no es el throughput: es el TPOT, el tiempo entre token y token. Speculative decoding lo baja sin tocar el hardware, con un truco…
[ Guías y manuales ]Series paso a paso
Cinco capítulos para llevar tu vLLM a producción: structured outputs y tool calling, cuantización, speculative decoding, KV offloading y multi-GPU.
De cero a tu propio servidor vLLM en una GPU alquilada: 8 capítulos prácticos, por menos de $5 y con números medidos en cada paso.
El PoC completo: que medi, que rompi y cuanto costo servir un modelo open-source en una GPU alquilada.
[ Inventario ]Construido con experiencia de primera mano
MOBILE // AI
Historial médico para mascotas: grabas la visita al vet o fotografías la receta y Gemini extrae registros estructurados con tratamientos y citas.
[ Logros ]Reconocimientos desbloqueados
Google Developer Expert
Credencial GDE: reconocido por Google como experto y contributor de la comunidad.
69 posts técnicos
Codea Bien: blog sobre Angular, Supabase e IA, ahora migrando a kevindavila.dev.
Multiplataforma
Producto en móvil, mensajería y web: mismo dominio de datos, tres mundos distintos.
[ Charlas & eventos ]Boss fights & keynotes
Calendario en preparación. Como GDE participo en eventos y meetups de la comunidad: pronto aquí, próximas charlas, grabaciones y slides.
[ Canal de contacto ]
¿Tienes un proyecto interesante, una charla que organizar o ganas de intercambiar sobre Web o AI? Escríbeme!.
> Canales alternativos:
• GitHub: @kevindaviladev
• LinkedIn: /in/kevindaviladev