Por Canuto  

Majestic Labs promete revolucionar la IA con su servidor Prometheus, que prescinde de GPUs y se centra en la memoria. La startup asegura que un solo rack supera a 25 de Nvidia. Pero, ¿es real o solo humo?
***

  • Prometheus reemplaza las GPUs por unidades Ignite con núcleos Arm y RISC-V.
  • Ofrece entre 8 TB y 128 TB de memoria LPDDR6, hasta 50 veces más que una DGX B300.
  • Majestic Labs ya tiene pedidos, pero el hardware aún no ha sido probado de forma independiente.

El diálogo sobre hardware de IA ha estado dominado por una palabra: cómputo. Pero una startup israelí quiere cambiar esa conversación hacia la memoria.

Fundada en 2023 por exingenieros de Google y Meta, Majestic Labs ha presentado un servidor llamado Prometheus que, según afirma, puede hacer el trabajo de un rack completo de GPUs de Nvidia.

La propuesta ataca un cuello de botella diferente: el de la memoria de alto ancho de banda que se empareja con costosas GPUs.

Esta historia proviene de The Next Web y ha despertado interés en la industria por su enfoque radical.

El problema de la memoria en la IA

El costo de las GPUs no es solo el chip, sino también la memoria de alto ancho de banda (HBM) que las acompaña. Nvidia ha invertido mucho en esta combinación.

Sin embargo, ejecutar un modelo de IA a menudo se ve limitado por cuánta memoria rápida se puede acceder, no por el cómputo bruto disponible.

Esa es la barrera de memoria que Majestic Labs pretende superar. La startup asegura que emparejar GPUs con memoria HBM se ha convertido en un callejón sin salida para la inferencia de IA.

Por eso, decidieron dejar de lado la GPU por completo y diseñar un hardware distinto, centrado en la memoria.

El enfoque es tan novedoso que podría cambiar la arquitectura de los servidores de IA en los próximos años.

Ignite: el procesador que reemplaza a las GPUs

En lugar de GPUs, Prometheus utiliza las llamadas Unidades de Procesamiento de IA Ignite. Cada una combina núcleos Arm con motores vectoriales y tensoriales RISC-V.

Hasta 12 de estas unidades pueden residir en un solo servidor, compartiendo un pool de memoria que va desde 8 TB hasta 128 TB de LPDDR6.

LPDDR6 es el tipo de memoria que se encuentra en teléfonos inteligentes, mucho más económica que la HBM utilizada en GPUs.

La clave está en el cableado: en lugar de colocar memoria en cada paquete de GPU, Majestic la agrupa a través de chiplets de agregación personalizados.

Cables de cobre de hasta un metro de largo conectan estos chiplets, creando un pool de memoria coherente y mucho más grande que el de una caja de GPU típica.

Las cifras que prometen revolucionar el mercado

La comparación que hace Majestic es contundente. Una Nvidia DGX B300 con ocho GPUs Blackwell cuenta con 2.3 TB de memoria de alto ancho de banda.

Prometheus, según la empresa, ofrece más de 50 veces esa cantidad de memoria rápida, además de 1.7 veces el ancho de banda de interconexión.

Un solo rack de Prometheus iguala a 25 racks de los futuros Vera Rubin de Nvidia en términos de memoria rápida, aseguran.

Todo esto, a una fracción de la potencia consumida por los sistemas de Nvidia.

Sin embargo, estas cifras provienen únicamente de Majestic, sin verificación independiente, y el hardware aún no se ha enviado.

Software y compatibilidad: una ventaja clave

La historia del software es tan amigable como radical. Prometheus se basa en estándares abiertos y es compatible con PyTorch, vLLM y Triton de OpenAI.

Esto significa que los modelos diseñados para GPUs pueden ejecutarse en Prometheus sin necesidad de modificaciones.

La compatibilidad es crucial para la adopción, ya que reduce la fricción para los desarrolladores.

Majestic afirma que ya ha recibido pedidos de grandes empresas, neoclouds y hyperscalers, lo que sugiere confianza en sus capacidades.

A pesar de no haber enviado hardware, las promesas de compatibilidad y rendimiento atraen a varios gigantes de la industria.

El escepticismo y los desafíos técnicos

Cada cifra presentada va acompañada de un asterisco: son datos de Majestic, sin pruebas independientes.

La compañía cuenta con aproximadamente 40 empleados en Tel Aviv y Los Ángeles, y recaudó USD $100.000.000 a fines del año pasado.

Esa suma es modesta en comparación con lo que sus rivales invierten, pero suficiente para levantar sospechas en un mercado tan competitivo.

También hay preguntas físicas. Construir un pool de 128 TB con dies de 2 GB de LPDDR6 implicaría alrededor de 64.000 de esos chips.

Eso significaría más de un centenar de chiplets de agregación en un solo servidor, lo que plantea dudas sobre la coherencia y la fiabilidad.

TechRadar señala que los compradores probablemente esperarán evaluaciones independientes antes de realizar un cambio drástico en su infraestructura.

Más startups apuntando a Nvidia

Majestic se une a una línea creciente de startups que atacan a Nvidia desde ángulos inusuales.

Chips ópticos, silicio de borde para inferencia y equipos de redes abiertos son algunos ejemplos de iniciativas que buscan romper el monopolio.

El hilo común es que el dominio de Nvidia ahora es un objetivo desde múltiples frentes, incluso su foso de software.

La propuesta de la barrera de memoria es la más nueva y también la menos probada.

Prometheus ha dibujado una imagen de un rack que avergüenza a una sala de GPUs en memoria y potencia.

El próximo año, cuando el hardware sea enviado y otros realicen evaluaciones, la imagen se confirmará o se desmoronará.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados