Por Canuto  

Nvidia presentó NVHBM, una implementación personalizada de memoria de alto ancho de banda que promete hasta 30% más velocidad y 15% menos consumo que HBM4e estándar para los socios de NVLink Fusion.
***

  • NVHBM promete hasta 30% más de ancho de banda por pila y 15% menos consumo energético que HBM4e estándar.
  • El diseño traslada el controlador de memoria al die base de la pila y puede liberar espacio para hasta 30% más cómputo en el chip principal.
  • Annapurna Labs, de Amazon, será el primer socio anunciado, con posibles aplicaciones futuras en los diseños de infraestructura de AWS.

Nvidia presentó NVHBM, un bloque de construcción de memoria de alto ancho de banda dirigido a desarrolladores de silicio personalizado que participan en su programa NVLink Fusion. La compañía asegura que esta implementación puede ofrecer hasta 30% más de ancho de banda por pila y consumir 15% menos energía que el HBM4e estándar, dos características especialmente relevantes para aceleradores de inteligencia artificial que procesan grandes volúmenes de datos.

La propuesta no reemplaza a HBM4e ni constituye una nueva memoria disponible de forma general para cualquier fabricante. Nvidia la ofrece exclusivamente a sus socios de silicio personalizado, con un diseño que, según la empresa, ya fue creado y validado junto con fabricantes líderes de memoria para acortar el tiempo de llegada al mercado frente a desarrollar una implementación estándar desde cero.

Una nueva pieza para NVLink Fusion

NVLink Fusion proporciona a sus socios los bloques necesarios para conectar chips personalizados con el dominio scale-up de NVLink. Ese dominio permite unir múltiples procesadores separados dentro de un sistema coherente, como el acelerador de escala de rack Vera Rubin NVL72, aunque la incorporación de NVHBM apunta a futuros diseños personalizados y no a los sistemas Rubin que ya están en producción.

En los aceleradores de IA, el ancho de banda de memoria suele limitar el rendimiento cuando los procesadores deben mover continuamente pesos de modelos, cachés KV y otras estructuras de datos. Nvidia sostiene que el aumento de hasta 30% por pila podría beneficiar cargas de trabajo restringidas por ese flujo, con efectos potenciales como una mayor cantidad de tokens procesados por segundo durante la inferencia.

El anuncio también amplía el alcance de NVLink Fusion más allá de la interconexión entre chips. Al incluir el die base personalizado y una interfaz física, conocida como PHY, Nvidia busca ofrecer a sus socios una ruta más integrada para diseñar aceleradores que combinen cómputo, memoria y comunicación dentro de paquetes avanzados.

La empresa anunció que Annapurna Labs, unidad de Amazon dedicada al desarrollo de chips, será su primer socio para NVHBM. Nafea Bshara, vicepresidente de Annapurna, afirmó: «Esperamos con interés esta colaboración tecnológica para beneficio de los futuros diseños de infraestructura de AWS», sin detallar qué productos concretos incorporarían la tecnología.

Más espacio para cómputo en el paquete

Uno de los cambios centrales de NVHBM consiste en trasladar el controlador de memoria desde el die principal del acelerador hacia el die base de la pila HBM. Nvidia también proporciona un PHY personalizado de menor tamaño que los clientes de NVLink Fusion pueden integrar en sus propios diseños, con el objetivo de reducir la superficie dedicada a los circuitos de memoria en el chip principal.

De acuerdo con la compañía, el espacio liberado podría destinarse a unidades adicionales de cómputo y permitir hasta 30% más capacidad de procesamiento en el die de silicio principal. Esa cifra representa una afirmación de diseño de Nvidia, no una medición independiente de rendimiento en un producto comercial, por lo que su impacto final dependerá de cómo cada socio distribuya el área recuperada.

El enfoque también busca simplificar el enrutamiento del interposer, el componente que conecta varios chips dentro de un paquete mediante técnicas avanzadas de integración. Al reducir la carga de conexiones asociadas con el controlador y el PHY, NVHBM podría facilitar diseños con múltiples componentes, aunque la fuente no ofrece detalles sobre procesos de fabricación, proveedores específicos o productos terminados.

Para los desarrolladores de aceleradores, la ventaja potencial combina tres objetivos que normalmente compiten por el espacio y el presupuesto disponibles: más ancho de banda, menor consumo y mayor densidad de cómputo. Nvidia presenta NVHBM como una forma de trasladar parte de la complejidad del diseño a una plataforma validada, en lugar de obligar a cada socio a resolver desde cero la integración de HBM.

El costo energético de mover datos

Nvidia afirma que NVHBM utiliza 15% menos energía que las pilas HBM4e estándar. En sistemas de IA, donde miles de chips pueden operar simultáneamente, una reducción de ese tipo podría acumularse en el consumo total de una instalación y ofrecer a los diseñadores más margen para equilibrar rendimiento, densidad y eficiencia.

La energía ahorrada podría emplearse de varias maneras, según la descripción de la compañía: aumentar el rendimiento por vatio, añadir unidades funcionales al acelerador o sostener una velocidad más elevada dentro del mismo límite energético. También podría permitir instalar un número mayor de aceleradores bajo un presupuesto fijo, aunque NVHBM todavía representa una opción futura para socios y no un cambio aplicado a los racks Rubin existentes.

La importancia de esa eficiencia se vuelve más evidente en tareas que mueven repetidamente grandes cantidades de información entre memoria y cómputo. Los pesos de los modelos y las cachés KV utilizadas durante la inferencia pueden generar una presión constante sobre el subsistema de memoria, de modo que una mejora simultánea en ancho de banda y consumo puede tener efectos tanto en la velocidad como en el costo operativo.

La estrategia refleja una competencia cada vez más centrada en la infraestructura que sostiene la IA, no solamente en la cantidad de núcleos de un procesador. Cada vatio que no se destina a producir tokens debe considerarse dentro de la planificación del sistema, y Nvidia intenta convertir esa preocupación en un argumento para que los diseñadores adopten su ecosistema de interconexión y memoria.

Amazon abre la primera ruta comercial

Annapurna Labs será el primer socio identificado públicamente para NVHBM, una señal de que Nvidia busca atraer a los grandes operadores que diseñan sus propios aceleradores. Amazon ya trabaja en Trainium 4, su próxima generación de chips de IA, que admitirá la interfaz scale-up de NVLink Fusion, por lo que los diseños posteriores podrían ser candidatos naturales para incorporar la memoria personalizada.

La compatibilidad de Trainium 4 con NVLink Fusion no confirma que el chip vaya a utilizar NVHBM. La fuente indica únicamente que los productos siguientes de Annapurna podrían admitir la tecnología, mientras que cualquier decisión concreta dependerá de las especificaciones finales, los calendarios de desarrollo y la estrategia de infraestructura de AWS.

El acuerdo también muestra cómo Nvidia intenta ampliar su influencia entre empresas que no necesariamente compran únicamente sus aceleradores terminados. Al ofrecer bloques para interconexión, memoria y PHY, la compañía puede mantener un papel dentro de arquitecturas personalizadas, incluso cuando sus socios desarrollan el silicio principal para sus propias cargas de trabajo.

Por ahora, NVHBM debe entenderse como una oferta de plataforma y no como una memoria que sustituirá automáticamente a HBM4e en el mercado. Sus promesas de 30% más de ancho de banda, 15% menos consumo y hasta 30% más cómputo potencial dependerán de la implementación de cada socio, pero el anuncio evidencia que la memoria y el empaquetado se han convertido en variables decisivas para el futuro de los aceleradores de IA.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados