Por Canuto  

Google presentó TPU Sync, una librería de código abierto para mover cachés KV y pesos de modelos entre distintos niveles de memoria en sus chips TPU. En pruebas internas, la empresa reportó reducciones de hasta 90% en el tiempo hasta el primer token en ciertos escenarios, aunque advierte que el software aún está en una etapa temprana.

***

  • TPU Sync es una librería C++ para transferir datos entre la memoria de las TPU, la DRAM del servidor, el almacenamiento y varios hosts; el borrador también señala integraciones con PyTorch y JAX.
  • En pruebas internas de Google, la transferencia de caché KV para Qwen3 235B bajó de varios segundos a cerca de 230 milisegundos.
  • La jerarquización de almacenamiento y el uso en aprendizaje por refuerzo siguen siendo experimentales; Google no publicó cifras de rendimiento para RL.

 

 

La nueva herramienta de Google busca reducir el tiempo que los aceleradores dedican a mover datos, en lugar de procesarlos.

Google lanzó TPU Sync, una librería de código abierto que transfiere cachés KV y pesos de modelos entre la memoria de sus chips TPU, la memoria del servidor y otros niveles de almacenamiento. La compañía sostiene que esta operación se ha convertido en un cuello de botella importante para ejecutar modelos grandes y reporta mejoras en pruebas internas de inferencia. Los resultados pueden variar y Google todavía no recomienda el software para uso general.

Una librería para trasladar el estado de los modelos

La caché KV guarda información generada durante la atención de un modelo y permite reutilizarla a medida que produce texto; trasladarla de forma eficiente puede ser crucial cuando la infraestructura separa las tareas de prefill y decode. TPU Sync aborda ese problema con una librería nativa en C++, acompañada de paquetes de Python para PyTorch y compatibilidad nativa con JAX. Google indica que la herramienta se probó con modelos de mezcla de expertos, o MoE, de entre 235.000 y 480.000 millones de parámetros.

La propuesta trata la memoria de alto ancho de banda de la TPU, la DRAM del servidor, el almacenamiento compartido y la red entre máquinas como partes de una misma jerarquía. Así, los datos no tienen que permanecer necesariamente en la memoria más rápida y limitada del acelerador, una consideración relevante cuando los pesos de un modelo MoE ocupan buena parte de esa capacidad. El repositorio se distribuye bajo la licencia Apache 2.0, según la información publicada sobre el lanzamiento.

Entre sus decisiones técnicas, TPU Sync utiliza DMA asíncrono y conserva el formato de los tensores en mosaicos que usan las TPU. La librería puede leer directamente buffers de JAX PJRT o tensores de PyTorch, sin convertirlos primero en objetos serializados de Python ni recurrir a buffers intermedios, un diseño que busca reducir pasos adicionales durante el movimiento de datos.

La transferencia también puede coincidir con parte del cómputo, mientras un mecanismo de control del ritmo del DMA procura evitar que las copias grandes retrasen el inicio de los kernels. Google ejecuta el traslado y el cambio de distribución de los datos en C++ nativo, fuera del grafo XLA, por lo que la ruta de transferencia no exige una compilación de XLA para cada operación.

Las cifras de Google y sus límites

Los benchmarks internos se realizaron en julio de 2026 con TPU v7x en configuración 2x2x1, PCIe Gen5 y tarjetas de red de 200 Gbps. El stack utilizado incluyó tpu-inference v0.24.0, JAX 0.10.2 y libtpu 0.0.42.1, por lo que las cifras corresponden a esa configuración de laboratorio y no constituyen una garantía de rendimiento para otras cargas o despliegues.

En las pruebas de serving disgregado, Google reportó que la sobrecarga de transferencia de caché KV cayó más de 90%. Para Qwen3 235B, la latencia mediana de esa transferencia pasó de varios segundos a alrededor de 230 milisegundos. En escenarios de baja concurrencia, la empresa también informó que el tiempo promedio hasta el primer token, conocido como TTFT, se redujo 60% para el modelo de 235.000 millones de parámetros y 90% para el de 480.000 millones.

La empresa también observó un aumento de entre 30% y 70% en el rendimiento de salida de tokens para el modelo de 235B durante los picos de tráfico considerados en sus pruebas. En escenarios de caché de prefijos, que reutiliza resultados de prompts anteriores, la capacidad efectiva creció en un orden de magnitud cuando los pesos MoE ocupaban la mayor parte de la memoria HBM disponible.

Para cargas de contexto de 64K, Google reportó una caída de hasta 90% en el TTFT promedio, un aumento superior a 50% en el rendimiento y una reducción de 30% en la latencia inter-token del percentil 99. MarkTechPost señaló que estas mediciones fueron reportadas por la propia compañía y que no se publicaron cifras de rendimiento para el uso de TPU Sync en aprendizaje por refuerzo, o RL.

Compatibilidad, almacenamiento y despliegue

TPU Sync está diseñado para Cloud TPU v7x, también llamada Ironwood, y TPU v6e, de acuerdo con el repositorio de la librería. En un escenario de prefill y decode disgregados, el servidor de prefill descarga bloques de caché KV a la DRAM fijada del host mediante DMA asíncrono; luego, un controlador los envía entre servidores al nodo de decode asignado.

Cuando esos bloques llegan al nodo de decode, pasan a la memoria HBM mientras continúa la generación de tokens. Google informa que el DMA PCIe puede alcanzar hasta 223 GB/s por host Ironwood, frente a un máximo teórico de 256 GB/s para PCIe Gen5; el streaming por la red DCN llega a cerca de 192 Gbps con una tarjeta y alrededor de 350 Gbps con dos.

La librería también contempla almacenamiento compartido mediante backends POSIX experimentales, incluidos SSD locales y Google Cloud Managed Lustre. Esa parte de la jerarquía todavía está en fase experimental, de modo que la inclusión de esos destinos no debe confundirse con una función ya consolidada para todos los despliegues.

En el ecosistema de software, TPU Sync se integra con PyTorch a través de TorchTPU y funciona de forma nativa con JAX. En vLLM-TorchTPU sirve como conector de caché KV detrás de la interfaz KVConnector de vLLM, mientras que SGLang-TorchTPU lo utiliza para transferencias entre prefill y decode y para la entrada y salida de cachés jerárquicas.

Una apuesta temprana frente a otras soluciones

En Google Kubernetes Engine, llm-d 1.0 usa la librería para el enrutamiento con afinidad a cachés de prefijos y para una función experimental de descarga a Managed Lustre. Inferact y RadixArk participaron en el codiseño de las integraciones para vLLM y SGLang, y Google afirmó que Meta y Wayfair están evaluando la arquitectura, sin presentar esos análisis como adopciones confirmadas.

La herramienta se enfoca en TPUs de Google, mientras que alternativas como NVIDIA Dynamo KVBM con NIXL, LMCache y Mooncake apuntan a distintos entornos de aceleración y almacenamiento. La información de comparación menciona compatibilidad con GPU NVIDIA y soporte parcial de ROCm en NIXL, además de CUDA y ROCm para LMCache y varios tipos de aceleradores para Mooncake; sus características y rutas de transporte no son directamente equivalentes.

Por eso, el máximo de 223 GB/s de TPU Sync no debe compararse sin contexto con la cifra de hasta 190 GB/s citada para Mooncake sobre una red RoCE de ocho enlaces de 400 Gbps. La primera corresponde a una transferencia DMA PCIe entre el host y la TPU, mientras la segunda describe una ruta de red, por lo que miden operaciones distintas. La comparación también recoge que varias soluciones ofrecen niveles de memoria y transportes diferentes, desde RAM y discos locales hasta redes RDMA.

El alcance inmediato de TPU Sync es reducir el costo de mover datos en sistemas basados en TPU, con resultados prometedores para cachés KV y caché de prefijos en las pruebas de Google. Sin embargo, el uso en RL carece de cifras publicadas, la jerarquización de almacenamiento sigue en fase experimental y la documentación todavía desaconseja el uso general. La compañía presenta, por tanto, una base abierta para integración y evaluación, no una mejora garantizada para cualquier modelo o entorno.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.

 


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados