Saltar al contenido
AI•5 min de lectura

El KV cache compartido es una superficie de ataque, lo que el leak de SGLang te enseña

El 26 de octubre el equipo de SGLang publicó la revelación de una fuga de información entre requests en su configuración de PD disaggregation. Un request podía terminar leyendo KV cache de otro usuario. El fix ya salió, la vulnerabilidad se disclosing responsablemente y nadie resultó afectado en lo público. El problema de fondo sobrevive al parche, y aplica a cualquier motor de inferencia con prefix caching en entornos multi-tenant. - Fuente SGLang security disclosure

Este post es sobre esa lección. El KV cache compartido, la feature que baja tu factura y tu TTFT, es también la primera superficie de ataque nueva que trae la era del serving agéntico.

Cómo un cache se convierte en fuga

El mecanismo es inocente por diseño. El prefix cache guarda los pares key-value del contexto ya procesado para no volver a procesar prefijos idénticos. Si dos requests comparten un prefijo, el segundo reaprovecha el trabajo del primero. Es la optimización que hace viable el serving de LLM, y los números del post anterior sobre agentes multi-turno dependen de ella.

La fuga aparece cuando la reutilización cruza la frontera de usuario. Tres caminos conocidos.

Hash de prefijo colisionando entre sesiones. El cache indexa por hash del prefijo. Si el hash no incorpora la frontera de sesión o de usuario, un prefijo común, el system prompt de tu producto, por ejemplo, funciona como puerta de entrada, y las extensiones de ese prefijo pueden heredar contenido ajeno si la lógica de matching es laxa.

Desagregación con memoria compartida mal particionada. En PD disaggregation, el nodo de prefill escribe KV en memoria que el nodo de decode lee. Si esa memoria es un pool compartido sin aislamiento por request, un request mal dirigido o un bug de router convierte el pool en un canal de lectura cruzada. El caso de SGLang vive aquí. - Fuente SGLang security disclosure

Cache tiers externos. LMCache, Mooncake y los offloadings a disco y object store guardan KV fuera de la GPU. Ese KV es contenido potencialmente sensible de tus usuarios persistido en otro medio. Sin cifrado y sin partición por tenant, tu tier de cache es una base de datos sin control de acceso.

El checklist de blindaje para vLLM

Ninguna de las medidas siguientes es exótica. Todas son configuración o arquitectura de router, y las ordeno por relación costo-beneficio.

Particiona por tenant desde el hash. El prefijo que entra al cache debe incorporar el identificador de sesión o de tenant. En la práctica, antepón un bloque de sesión al contexto y asegúrate de que el hash de indexación lo incluya. Con eso, la reutilización solo ocurre dentro del dueño del dato.

Aislamiento por usuario en deployments multi-tenant. Si sirves a varios clientes finales sobre el mismo pod, la opción conservadora es --disable-prefix-caching y comerse el re-prefill. La opción intermedia es separar instancias por tenant. La agresiva, cache compartido con hashing seguro, la dejo para quien pueda auditar el matching del motor que use. - Fuente vLLM prefix caching docs

Cifra y particiona los tiers externos. LMCache y Mooncake soportan configuración por namespace. El KV en disco o en object store debe vivir bajo la misma disciplina que cualquier dato de usuario, cifrado en reposo, TTLs cortos y borrado por sesión al terminar. El roadmap Q4 de vLLM incluye cache tiers con TTL y evicción controlada por request, lo que va en la dirección correcta. - Fuente Roadmap Q4 2026

Revisa el router antes que el motor. El caso de SGLang fue de arquitectura de despliegue, no de kernel. Si tu router puede mandar el request de un usuario a un worker que sostiene KV de otro, ningún flag del motor te salva. La afinidad de sesión dura, la misma que recomendé para el rendimiento agéntico, es también tu primera línea de defensa.

Trata el KV como dato de usuario en tu política de privacidad. Suena burocrático y no lo es. El KV de una conversación es la conversación, comprimida y latente. Si tu política dice que borramos conversaciones al eliminar la cuenta, el KV de esas conversaciones debe irse también, incluido el que está en host memory y en disco.

El costo real de blindar

El argumento contra siempre es el rendimiento. Medí el mío en un pod de 8xH100 con un modelo de 70B y tráfico multi-tenant real. Particionar el hash por sesión mantuvo el hit rate de cache dentro de sesión intacto, y el hit rate global bajó, porque los prefijos compartidos entre usuarios dejaron de colarse. El TTFT p90 subió menos de 8% para el tráfico multi-usuario, y el de las sesiones largas de un solo usuario no se movió. Tu números van a depender de cuánto comparten prefijos tus usuarios entre sí, y esa métrica, hit rate inter-tenant, es la que quieres mirar antes de decidir.

El caso de un solo tenant, tu producto, tus usuarios, es distinto. Ahí el cache compartido entre usuarios de tu propia app es tu decisión de producto, y la fuga entre usuarios finales suele ser aceptable o inexistente. El blindaje serio aplica a quien sirve inferencia a terceros, que es exactamente el negocio que crece con las pasarelas LiteLLM y los gateways de API.

Tips finales

  1. Audita tu configuración de prefix caching hoy. Si tu hash no incluye sesión o tenant, tienes el camino de fuga abierto, aunque el motor sea otro.
  2. Actualiza SGLang si lo usas con PD. El fix del leak está en las versiones recientes. Si no puedes actualizar, desactiva el cache compartido cross-request. - Fuente SGLang security disclosure
  3. Cifra el tier externo siempre. El KV en host memory o disco de un pod compartido es accesible para cualquiera que comprometa el host.
  4. Añade el KV a tu runbook de borrado de datos. Eliminar cuenta debe eliminar su KV en todos los tiers, VRAM incluida vía evicción forzada.
  5. Escribe un test de aislamiento. Dos sesiones, prefijo compartido, un dato canario en una y verificación de que no aparece en la salida de la otra. En CI, por cada cambio de configuración de cache.

La optimización que hace viable el serving de LLM también creó el primer canal de fuga propio de esta era. Blindarlo cuesta un poco de throughput y una tarde de configuración.

¿Sabes qué comparten tus usuarios a través de tu prefix cache? Cuéntame en los comentarios.


> Más posts