Nvidia amplía su ventaja en IA más allá de las GPU

La competencia contra Nvidia ya no depende únicamente de fabricar una GPU más potente. Su arquitectura Vera Rubin busca controlar la memoria, las redes, el almacenamiento y el movimiento de datos que sostienen los centros de datos de IA a escala de gigavatios.
***

• Nvidia enfrenta una competencia creciente de hiperescaladores como Amazon y Google, que desarrollan chips propios.
• La arquitectura Vera Rubin combina GPU, CPU, aceleradores de inferencia, almacenamiento y redes en sistemas completos.
• Nvidia reportó mejoras de hasta 3,21 veces en ciertas operaciones de tráfico de datos al utilizar la CPU Vera, según un ejecutivo de la compañía.

La ventaja competitiva de Nvidia en inteligencia artificial comienza a extenderse más allá de sus unidades de procesamiento gráfico, justo cuando los hiperescaladores desarrollan alternativas propias. La compañía todavía enfrenta presión en el mercado de GPU, pero su apuesta por sistemas completos podría darle una posición dominante en la infraestructura que conecta memoria, almacenamiento, redes y procesamiento.

La discusión resulta relevante porque los centros de datos de IA están creciendo hasta escalas de gigavatios, con cargas de trabajo que exigen mover enormes volúmenes de información en tiempos cada vez más cortos. En ese contexto, obtener más ciclos de procesamiento no resuelve por sí solo el problema: también importa dirigir los datos con precisión para evitar cuellos de botella y aprovechar cada unidad de energía.

La ventaja deja de estar solo en la GPU

Durante los primeros años del auge de la IA, Nvidia fue vista como la principal fuente de GPU de última generación, componentes que alcanzaron una rentabilidad extraordinaria a medida que aumentó la demanda de cómputo. Sin embargo, Amazon y Google comenzaron a desarrollar sus propios chips, mientras otros actores del sector exploraron diseños especializados, lo que llevó a los inversionistas a cuestionar cuánto tiempo podría durar la ventaja de la empresa.

La presión competitiva no se limita a la fabricación de aceleradores alternativos. También plantea interrogantes sobre qué empresa puede ofrecer la infraestructura más eficiente cuando los modelos de IA necesitan coordinar procesadores, memoria, almacenamiento y redes en una misma instalación.

La complejidad aparece cuando una implementación de IA deja de consistir en unas pocas máquinas y pasa a operar como una infraestructura distribuida a gran escala. Nvidia busca responder a ese desafío con hardware destinado a coordinar ese entorno, una ventaja que podría conservar incluso si rivales e hiperescaladores logran fabricar GPU competitivas.

El cómputo puede parecer una mercancía cuando se observa únicamente el precio de cada unidad de procesamiento, pero operar un centro de datos de megaescala con máxima eficiencia sigue siendo difícil. A medida que las instalaciones se vuelven más grandes y rápidas, la coordinación entre sus componentes adquiere un peso comparable al de la potencia bruta de sus procesadores.

Vera Rubin organiza el tráfico de datos

Nvidia está implementando su arquitectura Vera Rubin, que combina la GPU Rubin con una colección de unidades adicionales. La plataforma Vera Rubin NVL72 reúne 72 GPU Rubin, 36 CPU Vera, redes ConnectX-9 SuperNIC y unidades de procesamiento de datos BlueField-4. Nvidia también la vincula con el acelerador de inferencia Groq 3 LPX, diseñado para cargas de trabajo que requieren baja latencia.

La analogía es sencilla: si la GPU representa el motor de un automóvil, los demás componentes cumplen la función del sistema que permite que el vehículo avance sin desperdiciar energía ni quedar atrapado en el tráfico. No procesan necesariamente los tokens de la misma forma que la GPU, pero determinan si los datos llegan en el momento adecuado y con la velocidad que requiere la carga de trabajo.

Jason Hardy, vicepresidente de tecnología de almacenamiento de Nvidia, explicó que la CPU Vera aborda un límite fundamental: solo se puede instalar cierta cantidad de memoria en un servidor o en una plataforma de cómputo. Cuando los centros de datos aumentan su capacidad de procesamiento, también necesitan ampliar la memoria, una tendencia que ha beneficiado a empresas como Micron durante la segunda ola del auge de infraestructura.

El desafío consiste en llevar esos datos hasta la GPU exactamente cuando hacen falta, sin que el almacenamiento, la memoria o la red impongan retrasos. Hardy afirmó que Nvidia observó mejoras de hasta 3,21 veces en ciertas operaciones cuando la CPU Vera se encarga de acelerarlas. La compañía sostiene que Vera puede reducir los cuellos de botella en la transferencia de datos y aprovechar mejor la memoria flash.

La métrica detrás de esta estrategia no es solo el número de tokens procesados, sino la cantidad de tokens obtenidos por unidad de energía. Las empresas que buscan elevar los tokens por vatio tienen incentivos para optimizar el movimiento de información, porque una GPU poderosa puede perder buena parte de su rendimiento si espera datos que llegan tarde.

Un enfoque distinto frente al mismo problema

OpenAI presentó una solución diferente con su chip Jalapeño, desarrollado junto con Broadcom para tareas de inferencia de modelos de lenguaje. La empresa explicó en una publicación de blog que el dispositivo fue diseñado para minimizar el movimiento de datos y los retrasos de comunicación, manteniendo la carga de trabajo dentro de un sistema conectado.

OpenAI reportó que los primeros resultados de Jalapeño ofrecieron entre 1,5 y 1,9 veces más trabajo de IA por vatio en el rendimiento máximo, así como entre 1,7 y 3,6 veces menos latencia de extremo a extremo frente al sistema de comparación. Esas cifras corresponden a las pruebas divulgadas por la propia empresa y no constituyen, por sí solas, una demostración de superioridad general frente a todos los productos de Nvidia.

La arquitectura de Jalapeño pretende que una solicitud completa permanezca rápida y eficiente de principio a fin mediante un dominio amplio, en lugar de repartir constantemente la información entre distintos componentes. Se trata de una estrategia distinta a la de Nvidia, que incorpora piezas especializadas para coordinar el tráfico, pero ambas parten de la misma premisa: mover menos datos o moverlos de manera más inteligente puede aumentar la eficiencia.

Este cambio abre una nueva capa de competencia en la infraestructura de IA. El fabricante que consiga producir una GPU rival ya no tendrá asegurada la victoria, porque también deberá demostrar que puede conectar memoria, almacenamiento, redes, inferencia y procesamiento sin sacrificar rendimiento ni energía.

La orquestación de datos tampoco representa una victoria automática para Nvidia. La compañía tendrá que competir con otros fabricantes de chips y con los propios hiperescaladores, que cuentan con recursos suficientes para diseñar sistemas a la medida de sus centros de datos y cargas de trabajo.

Una carrera que se traslada al sistema completo

La nueva disputa podría favorecer a los proveedores capaces de vender soluciones integradas, en lugar de componentes aislados. Nvidia ya ofrece una combinación de hardware especializado que abarca varios niveles de la infraestructura, mientras sus rivales deben decidir si competirán con una pieza concreta o con una arquitectura completa.

Para los operadores de centros de datos, la decisión no depende únicamente del precio de una GPU, porque el rendimiento final también está condicionado por la memoria disponible, el almacenamiento, la red y el software que coordina todos esos elementos. Una alternativa más barata puede perder atractivo si necesita más componentes, consume más energía o introduce retrasos que reducen la productividad del sistema.

La escala de gigavatios también eleva el costo de cualquier ineficiencia. Cuando miles de unidades trabajan juntas, una demora pequeña en el tráfico de datos puede repetirse de forma masiva, mientras una mejora de más de tres veces en una operación específica podría traducirse en una utilización mucho mayor de la infraestructura existente.

El resultado es que la ventaja de Nvidia se vuelve más difícil de medir con una sola comparación entre GPU. Su posición dependerá cada vez más de la capacidad para diseñar racks, coordinar componentes y mantener el flujo de información, aunque esa fortaleza todavía deberá probarse frente a los sistemas propios de los hiperescaladores y a los aceleradores especializados.

El mercado todavía debe comprobar si esa ventaja será sostenible cuando los hiperescaladores desplieguen sus propios sistemas y los rivales perfeccionen sus aceleradores. Por ahora, la carrera de la IA ya no se libra únicamente por fabricar el chip más rápido, sino por conseguir que todo el centro de datos funcione como una sola máquina eficiente.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín