Por Canuto  

Meta completó la primera fase de Prometheus, un superclúster de IA que ya entrenó sus modelos Muse y que la compañía planea ampliar hasta cerca de un millón de GPU. La empresa también detalló las plataformas de NVIDIA, la red, los mecanismos de confiabilidad y la infraestructura energética que sostienen esa expansión.
***

  • Prometheus reúne cientos de miles de GPU en varios edificios de New Albany, Ohio, y Meta proyecta escalarlo hasta aproximadamente un millón.
  • La infraestructura combina sistemas NVIDIA GB200 y GB300, mientras prepara la incorporación de Vera Rubin NVL72.
  • Meta informó que redujo en 99% las interrupciones frente al máximo registrado durante la etapa inicial del clúster.

Meta completó la primera fase de Prometheus, su superclúster de inteligencia artificial en New Albany, Ohio, y afirma que esa infraestructura sirvió para entrenar la familia de modelos fundacionales Muse. La compañía planea llevar el sistema hasta cerca de un millón de GPU, una escala que exige coordinar cómputo, redes, energía y refrigeración como partes de una sola instalación.

En una publicación técnica del 19 de octubre de 2026, cuatro integrantes del equipo de ingeniería de Meta describieron el diseño y los resultados operativos del proyecto. La empresa sostiene que los modelos Muse Wonder ofrecen rendimiento de vanguardia en tareas agénticas personales y profesionales, aunque esa valoración corresponde a Meta y no constituye por sí sola una evaluación independiente.

Un clúster por etapas y varias generaciones de GPU

El proyecto transforma un sitio que, dos años antes de la descripción, funcionaba como un centro de datos convencional dedicado al tráfico web. Meta lo adaptó para entrenar modelos frontera y construye Prometheus en fases, combinando edificios tradicionales, instalaciones optimizadas para IA y estructuras de despliegue rápido.

La primera fase ya reúne cientos de miles de GPU distribuidas entre edificios interconectados por kilómetros de fibra. La compañía afirma que el conjunto opera como una sola máquina y que su escala permite trabajar con modelos más grandes y ventanas de contexto más extensas de lo que antes resultaba práctico.

Meta reportó más de 85% de goodput en las ejecuciones de preentrenamiento de Muse Wonder y más de 90% en las de aprendizaje por refuerzo. Goodput se refiere aquí a la capacidad de mantener cómputo útil para el entrenamiento, en vez de perder tiempo por interrupciones o problemas que ralentizan el trabajo distribuido.

La empresa registró durante esas ejecuciones un tiempo medio entre interrupciones de aproximadamente 47.000 horas de GPU y dijo que cambios posteriores en toda la flota, incluidos parches de firmware, elevaron la cifra por encima de 54.000. Meta sigue ampliando Prometheus para respaldar futuros modelos frontera de Meta Superintelligence Labs, mientras incorpora nuevas generaciones de aceleradores.

La primera plataforma detallada es Catalina, basada en NVIDIA GB200 NVL72 en una configuración Ariel de dos racks. Cada rack contiene 36 GPU conectadas mediante NVLink para formar un dominio de 72, y cada GPU Blackwell se combina con una CPU Grace y dos tarjetas de red ConnectX-7 de 400G, una relación de una CPU por GPU que permite 800G de entrada y salida por GPU.

Meta eligió esa configuración porque el GB200 mejora frente al H100 en potencia de cálculo, ancho de banda de memoria HBM, ancho de banda de escala vertical y tamaño del dominio de conexión entre aceleradores. La compañía consideró que conservar solo 400G de conectividad de escala horizontal por GPU podía limitar el rendimiento, por lo que desplegó Ariel para alcanzar 800G y mantener especificaciones más uniformes durante la expansión regional.

Según las especificaciones publicadas por la empresa, cada sistema Catalina suma 13,4 TB de memoria HBM3e, equivalentes a 192 GB por GPU, y alcanza 720 PFLOPS de cómputo máximo de entrenamiento FP8 o 1.440 PFLOPS en FP4. Meta también indicó 130 TB/s de ancho de banda máximo NVLink, 576 TB/s de ancho de banda agregado de memoria y cerca de 120 kW para el par de racks.

La segunda plataforma, Clemente, utiliza NVIDIA GB300 NVL72 y 72 GPU Blackwell Ultra, con 20,7 TB de HBM3e, o 288 GB por GPU. Meta atribuye al GB300 un aumento de 50% en capacidad HBM frente al GB200, un incremento similar en rendimiento denso FP4 y una aceleración de atención softmax que casi se duplica.

ConnectX-8 entrega 800G por GPU de forma nativa y una relación de dos GPU por CPU permite alojar las 72 GPU en un solo rack. Meta cifra en más de un exaFLOP su rendimiento máximo FP4, mantiene 130 TB/s de ancho de banda NVLink y estima un consumo de 135 kW por rack; además, declara una mejora de rendimiento de entre 5% y 10% frente al GB200 NVL72.

La red conecta edificios y regiones

El entrenamiento de IA distribuido requiere que muchas GPU intercambien datos de forma coordinada, con exigencias distintas a las de una red convencional de centros de datos. Por eso Meta opera, además de la red que conecta los servidores, una red Ethernet dedicada de backend para comunicación directa entre GPU dentro de los edificios y entre ellos.

La arquitectura refleja la jerarquía de los trabajos de preentrenamiento: las operaciones más sensibles a la latencia y al ancho de banda se concentran dentro de cada réplica del modelo, mientras que otros intercambios pueden tolerar más distancia. Meta afirma que diseña la red junto con los patrones de tráfico y los algoritmos de comunicación para reducir el tiempo que las GPU pasan esperando datos.

Cada tejido Ethernet de edificio conecta hasta 20.736 GPU mediante una topología de varias capas. El diseño inicial empleó un tejido programado desagregado, con rutas multipath a nivel de subpaquete, reordenamiento y control de flujo basado en créditos, para afrontar la congestión que pueden producir grandes flujos de entrenamiento simultáneos.

Con la evolución de las tarjetas de red, Meta pasó también a un tejido no programado con switches Ethernet de búfer superficial de 51,2T. La compañía menciona equipos Minipack3 con balanceo dinámico de carga y Minipack3N basados en Spectrum-4, además de enrutamiento adaptativo en las NIC ConnectX; ambos diseños operan con la pila de redes FBOSS de Meta.

La red de agregación de backend conecta los tejidos de cada edificio mediante una arquitectura de varias capas tipo hub-and-spoke. Sus enlaces abarcan desde 2 km hasta más de 100 km y utilizan chasis Arista de la serie 7800 con silicio Broadcom Jericho3, una configuración que Meta describe como capaz de proporcionar múltiples petabits por segundo de ancho de banda por pareja de regiones.

La distancia añade una dificultad particular: la velocidad de la luz impone límites que afectan la sincronización de las cargas de trabajo. Meta dijo que trabajó con Meta Superintelligence Labs para optimizar el entrenamiento sobre esos enlaces y reducir el impacto de la latencia, en lugar de asumir que una red de gran capacidad resolvería por sí sola el problema.

La planta de red incluye millones de millas de hebras de fibra, decenas de miles de switches y millones de componentes ópticos, según el inventario divulgado por la compañía. Dentro de los edificios utiliza conectores 2x400G FR4 LITE de corto alcance, mientras que para enlaces de más de unos 10 km recurre a ópticas coherentes 800G-ZR.

Menos interrupciones y mecanismos de recuperación

El paso de la arquitectura NVL8 de la generación H100 a NVL72 amplía de ocho a 72 GPU el dominio de escala vertical conectadas estrechamente por NVLink. Meta calcula que ese cambio multiplica por nueve el radio de impacto de una falla, una contrapartida del mayor ancho de banda y de la capacidad de tratar el rack como unidad de asignación.

Como los trabajos se organizan con mayor eficiencia en grupos que son potencias de dos, cada dominio NVL72 ejecuta un segmento de 64 GPU y mantiene las ocho restantes como repuestos internos. Para una ejecución con 32.768 GPU activas, Meta dice que necesita 523 racks, equivalentes a 37.656 GPU, alrededor de 13% por encima de la huella activa; atribuye 11 puntos de ese margen a la geometría del segmento de 64 dentro de cada dominio.

La complejidad física también incrementa las exigencias de confiabilidad: cada dominio contiene 5.184 enlaces diferenciales que operan a 200 Gbps y atraviesan varios componentes, desde los SerDes de las GPU hasta las bandejas de switches. Para reducir la pérdida de trabajo, Meta combina repuestos con tolerancia a fallas consciente del paralelismo, que permite aislar una réplica defectuosa mientras las demás repiten el paso y continúan.

Cuando una falla supera el alcance de una réplica, el sistema restaura el trabajo desde un punto de control anterior. Meta emplea guardado distribuido asíncrono, puntos de control delta y preparación en memoria para limitar el impacto de ese proceso en el rendimiento; la estrategia complementa los repuestos de GPU dentro de los racks y la reserva de racks completos.

Durante la fase inicial, a mediados de 2025, las interrupciones llegaron a casi 1.000 eventos diarios por cada 8.000 GPU, según Meta. Tras un año de ingeniería entre equipos, la empresa afirma haber reducido esa tasa en 99% y señala que su objetivo de confiabilidad es llegar a dos interrupciones diarias por cada 8.000 GPU, equivalente a unas 100.000 horas de GPU entre interrupciones.

La compañía identificó problemas de integridad de señal en NVLink, memoria HBM y LPDDR, salud de switches y enlaces de backend entre las fuentes de interrupciones. Sus medidas incluyen monitoreo del tejido NVLink con resolución de milisegundos, ajustes de firmware y detección predictiva de dispositivos degradados, además de redireccionamiento de ciertos fallos de enlace sin detener los trabajos.

Meta también describió una relación de coingeniería con NVIDIA, cuyos equipos trabajan en sus centros de datos y comparten telemetría para investigar las causas de las detenciones. La empresa atribuye a este proceso, junto con la automatización de paquetes de firmware, la posibilidad de desplegar correcciones en más de 100.000 GPU en pocas horas y reducir de más de siete a dos horas el tiempo P90 de actualización de un pod individual.

Energía, refrigeración y expansión futura

Las cargas de entrenamiento sincronizadas pueden provocar fluctuaciones de potencia de 30% a 40% dentro del clúster, y el inicio o la pausa de un trabajo importante puede cambiar la demanda en decenas de megavatios en segundos. Meta usa su marco Dynamo Dimmer para ajustar gradualmente los límites de potencia de las GPU cuando el clúster se acerca al techo eléctrico, en lugar de detener abruptamente las cargas.

Ese control se apoya en baterías de respaldo a nivel de rack, bandejas de condensadores, almacenamiento de energía en baterías a nivel de instalación y coordinación con proveedores de electricidad. La combinación busca manejar los picos inmediatos y sostener el entrenamiento, aunque la información publicada no detalla la capacidad energética de esos sistemas.

Prometheus utiliza una combinación de refrigeración líquida asistida por aire modular en edificios tradicionales y estructuras de despliegue rápido, junto con refrigeración líquida de instalación en el edificio optimizado para IA. Meta también integra capacidad arrendada de socios estratégicos para acelerar la disponibilidad de infraestructura, y afirma que sus centros más nuevos emplean refrigeración directa al chip en circuito cerrado.

La compañía sostiene que paga el costo total de la energía de New Albany y que iguala su consumo con energía nueva, limpia y renovable. También comparte diseños de infraestructura con la industria mediante Open Compute Project, incluido IcePack, un rack de red refrigerado por líquido; estas declaraciones describen las políticas que Meta atribuye a sus instalaciones, no una evaluación independiente de su impacto ambiental.

La siguiente expansión combinará plataformas GB300 NVL72 y Vera Rubin NVL72. El sistema San Miguel, basado en Vera Rubin, contempla 72 GPU con 288 GB de HBM4 y 19,2 TB/s de ancho de banda máximo por GPU, además de 2,52 EFLOPS de cómputo de entrenamiento FP4 por rack, o 1,26 EFLOPS en FP8.

Meta también proyecta para San Miguel 216 TB/s de ancho de banda NVLink, 1.500 TB/s de ancho de banda agregado de memoria y bandejas de cómputo totalmente refrigeradas por líquido en racks de más de 170 kW. La empresa estima una mejora de 10% a 20% en rendimiento por vatio frente al GB300 NVL72, una previsión que dependerá de la implementación de la nueva plataforma.

Más allá de Prometheus, Meta diseña Hyperion en Richland Parish, Luisiana, con lecciones del proyecto de Ohio. La compañía anticipa refrigeración líquida de circuito cerrado, conectividad completa a la red eléctrica junto con Entergy y diseños de red de próxima generación; también afirma que pagará el costo total de la electricidad asociado a esa conexión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados