Google presenta las TPU 8t y 8i para acelerar el entrenamiento y la inferencia de IA

Google presentó dos aceleradores de octava generación, TPU 8t y TPU 8i, diseñados para separar las exigencias del entrenamiento de modelos y la inferencia de IA. La compañía sostiene que la arquitectura especializada puede aumentar la escala y la eficiencia de sus supercomputadoras, con disponibilidad general prevista para finales de este año.
***

• TPU 8t apunta al entrenamiento de modelos masivos y Google afirma que cada superpod alcanza casi tres veces el cómputo por pod de la generación anterior.
• TPU 8i prioriza la inferencia de baja latencia y, según la compañía, mejora 80% el rendimiento por dólar frente a su predecesora.
• Ambos aceleradores prometen hasta dos veces más rendimiento por vatio y llegarán a disponibilidad general a finales de este año.

Dos aceleradores para tareas distintas

Google presentó en Google Cloud Next su octava generación de unidades de procesamiento tensorial, conocidas como TPU, con dos diseños destinados a necesidades diferentes: TPU 8t para entrenamiento y TPU 8i para inferencia. La empresa plantea que esta separación responde al crecimiento de los modelos de frontera y a la expansión de agentes de inteligencia artificial, que deben razonar, ejecutar tareas encadenadas y operar en ciclos continuos.

Las TPU son aceleradores especializados que Google ha utilizado durante años para ejecutar y entrenar modelos fundacionales, entre ellos Gemini. En su anuncio, Amin Vahdat, vicepresidente sénior y director de tecnología de IA e infraestructura, presentó los nuevos chips como parte de una supercomputadora que integra cómputo, memoria, redes, almacenamiento y software para las cargas de trabajo de IA.

La compañía sostiene que los agentes elevan las exigencias sobre la infraestructura porque no se limitan a producir una respuesta aislada: pueden planificar, usar herramientas, revisar resultados y repetir el proceso. En ese escenario, el tiempo de espera entre etapas y la comunicación entre componentes pueden afectar el rendimiento, por lo que Google diseñó una TPU para acelerar el trabajo de entrenamiento y otra para responder con rapidez durante el servicio.

Google aclara que ambos chips pueden ejecutar distintas clases de cargas de trabajo, aunque su especialización busca mejorar la eficiencia cuando se asignan a sus tareas principales. La empresa desarrolló las arquitecturas junto con Google DeepMind y afirma que el diseño se apoya en más de una década de trabajo sobre silicio personalizado, redes, refrigeración y software.

TPU 8t, enfocada en entrenar modelos

La TPU 8t apunta a reducir, según Google, los ciclos de desarrollo de modelos de frontera de meses a semanas. La compañía afirma que cada superpod ofrece casi tres veces el cómputo por pod de la generación anterior, al combinar capacidad de procesamiento, memoria compartida, ancho de banda entre chips, eficiencia energética y disponibilidad efectiva del sistema.

Un superpod de TPU 8t puede escalar hasta 9.600 chips y reunir 2 petabytes de memoria de alto ancho de banda compartida, de acuerdo con las especificaciones anunciadas. Google también atribuye a esta configuración 121 exaflops de cómputo FP4 y el doble de ancho de banda entre chips frente a la generación previa, una combinación que permitiría trabajar con modelos complejos dentro de un gran grupo de memoria.

La empresa añadió mejoras para mantener ocupados los aceleradores durante el entrenamiento: el acceso al almacenamiento sería 10 veces más rápido, y TPUDirect permite llevar datos directamente a la TPU. El objetivo es reducir los tiempos en que el sistema espera información, ya que una mayor capacidad de cálculo no se traduce en trabajo útil si los datos no llegan con suficiente rapidez.

Google presentó Virgo Network, una arquitectura diseñada para enlazar hasta 134.000 chips TPU 8t. La compañía afirma que, al combinar esa infraestructura con JAX y Pathways, puede escalar el entrenamiento distribuido a más de un millón de chips en un único clúster. La cifra describe la capacidad anunciada de la arquitectura y no significa que cada cliente vaya a desplegar necesariamente una instalación de ese tamaño.

TPU 8i busca acelerar la inferencia

La TPU 8i está orientada a responder consultas y ejecutar inferencias con baja latencia, un aspecto relevante cuando varios agentes colaboran en tareas complejas. Google describe esos procesos como flujos iterativos en los que agentes especializados pueden repartirse subtareas; en esa dinámica, pequeñas demoras repetidas pueden acumularse y afectar el tiempo de respuesta para el usuario.

Para atender ese tipo de cargas, el chip combina 288 GB de memoria de alto ancho de banda con 384 MB de SRAM en el propio acelerador, tres veces la cantidad de la generación anterior, según la compañía. Google señala que esa memoria permite mantener en el chip el conjunto de trabajo activo del modelo, con el propósito de reducir esperas asociadas al movimiento de datos.

La arquitectura también incorpora CPU personalizadas Axion basadas en Arm y duplica la cantidad de procesadores anfitriones físicos por servidor, de acuerdo con el anuncio. Google dice que utiliza una arquitectura de memoria no uniforme, conocida como NUMA, para aislar recursos y optimizar el sistema completo, en lugar de limitar el ajuste al acelerador por separado.

Para los modelos de mezcla de expertos, o MoE, la empresa duplicó el ancho de banda de interconexión entre chips hasta 19,2 Tb/s e introdujo una topología llamada Boardfly. Google afirma que esta red reduce en más de 50% el diámetro máximo de la conexión, mientras que un motor de aceleración de colectivos en el chip descarga operaciones globales y reduce hasta cinco veces la latencia dentro del chip.

Escala, eficiencia y próximos pasos

Google atribuye a la TPU 8i un aumento de 80% en el rendimiento por dólar frente a la generación anterior y calcula que las empresas podrían atender casi el doble de clientes con el mismo costo. Son cifras comunicadas por la compañía, que describen sus comparaciones internas y no constituyen por sí mismas una garantía de resultados idénticos para todas las cargas de trabajo.

En el caso de la TPU 8t, Google también destaca la confiabilidad y el tiempo de cómputo productivo, al que denomina goodput: apunta a superar 97%. Entre las medidas anunciadas figuran telemetría en tiempo real para decenas de miles de chips, detección y redirección automática ante enlaces ICI defectuosos y conmutación de circuito óptico para reconfigurar el sistema alrededor de fallas sin intervención humana.

La eficiencia energética es otro eje del anuncio, en un contexto en el que la electricidad y la capacidad de los centros de datos condicionan el crecimiento de la IA. Google afirma que las TPU 8t y 8i ofrecen hasta dos veces más rendimiento por vatio que Ironwood, su generación anterior, y que la gestión de energía ajusta el consumo según la demanda; también atribuye parte del ahorro a integrar conectividad de red y cómputo en el mismo chip.

Los dos aceleradores emplean refrigeración líquida de cuarta generación y funcionan con CPU Axion, mientras que Google dice haber diseñado sus centros de datos junto con el hardware para elevar seis veces la potencia de cómputo por unidad de electricidad respecto de hace cinco años. La compañía prevé disponibilidad general de TPU 8t y TPU 8i a finales de este año, como parte de AI Hypercomputer, y ofrece a los clientes interesados solicitar información anticipada.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín