Samsung presenta memoria LPDDR5X-PIM con hasta 614 GB/s de ancho de banda

Samsung presentó en Hot Chips 2026 una versión de LPDDR5X con procesamiento integrado que, según sus pruebas preliminares, redujo 2,28 veces el tiempo de ejecución y elevó 3,01 veces los tokens por segundo en una prueba de inferencia con Llama 3.1 de 8.000 millones de parámetros. La compañía calcula hasta 614 GB/s de ancho de banda efectivo para determinadas operaciones, frente a 76,8 GB/s en el acceso convencional.
***

• LPDDR5X-PIM incorpora unidades de lógica junto a los bancos de memoria para ejecutar operaciones básicas sin trasladar todos los datos al procesador.
• Samsung reportó 2,28 veces menos tiempo de ejecución y 3,01 veces más tokens por segundo frente a LPDDR5X convencional en una prueba con Llama 3.1 de 8.000 millones de parámetros.
• La compañía proyecta aplicaciones en dispositivos móviles, clientes, servidores y aceleradores, mientras trabaja en una especificación inicial de LPDDR6X-PIM para JEDEC.

Samsung presentó en Hot Chips 2026 una memoria LPDDR5X con procesamiento integrado, una arquitectura diseñada para ejecutar operaciones básicas de inteligencia artificial dentro del propio subsistema de memoria. La empresa afirma que su LPDDR5X-PIM redujo 2,28 veces el tiempo de ejecución de un modelo y alcanzó 3,01 veces más tokens por segundo que la LPDDR5X convencional. También calculó un ancho de banda efectivo de hasta 614 GB/s para determinadas operaciones, frente a 76,8 GB/s en el acceso convencional.

La propuesta busca resolver uno de los principales límites de los sistemas de IA: el movimiento constante de datos entre la memoria y el procesador. En vez de enviar cada conjunto de pesos y activaciones al host para que este realice cálculos sencillos, la tecnología coloca una unidad lógica junto a los bancos de DRAM y procesa localmente operaciones de multiplicación y acumulación, conocidas como MAC.

Una alternativa al costo del HBM

El procesamiento en memoria, o PIM por sus siglas en inglés, no es una idea nueva para Samsung. La compañía mostró esta aproximación en 2021 y posteriormente la llevó a stacks de HBM, una memoria de alto ancho de banda utilizada en aceleradores de IA. Sin embargo, el precio y las exigencias de integración de ese componente pueden limitar su adopción fuera de los sistemas más exigentes.

En ese contexto, una solución basada en LPDDR5X podría resultar atractiva para cargas de inferencia menos intensivas, especialmente en plataformas donde el costo, el consumo y el espacio físico pesan tanto como la velocidad absoluta. Esto no convierte a LPDDR5X-PIM en un reemplazo general de HBM: el resultado depende del modelo, el software, la organización de los datos y el acelerador empleado.

Cómo funciona LPDDR5X-PIM

El diseño presentado por Samsung asigna una unidad PIM a cada banco de memoria, en lugar de concentrar la lógica en una estructura que obligue a reorganizar los bancos. Cada banco alimenta árboles MAC paralelos junto con un archivo de registro de escala y un archivo de registro fuente, y los resultados, tanto enteros como de punto flotante, se almacenan en un archivo de registro vectorial.

La memoria puede operar en un modo de banco único, equivalente al funcionamiento convencional de DRAM, o en un modo de múltiples bancos destinado a las operaciones PIM. Los controladores tradicionales siguen siendo compatibles, mientras los comandos seleccionan entre lecturas y escrituras normales o instrucciones específicas de procesamiento en memoria según el modo activo.

Samsung identificó el reordenamiento de datos con la DRAM convencional como uno de los retos de diseño. Para resolverlo utiliza un mecanismo denominado Modo de Alineación de Direcciones, que asigna las direcciones de DRAM a instrucciones MAC y determina las direcciones del archivo de registro vectorial y del archivo de registro fuente a partir de las direcciones de fila y columna, en lugar de depender del archivo de registro de instrucciones.

En el ejemplo mostrado durante Hot Chips, 512 bytes de activaciones FP8 se dividen en 16 paquetes de 256 bits y se escriben en los bancos, donde quedan registrados en el archivo de registro fuente. Una instrucción PIMX_RD lee los pesos desde la DRAM, combina esos datos con las activaciones y envía el resultado de cada operación al archivo de registro vectorial.

Una vez completado el cálculo, la instrucción PIMX_WR devuelve los resultados a los bancos de memoria. El archivo de registro vectorial tiene un tamaño de 1 kbit y permite escribir hasta cuatro cálculos, aunque Samsung aclaró que no existe una relación obligatoria de uno a uno entre las lecturas y las escrituras.

Después, el host cambia al modo de banco único y realiza 16 lecturas para recopilar las salidas de todos los bancos. Ese flujo conserva la compatibilidad con el acceso convencional, pero intenta reducir el volumen de datos que debe viajar entre la DRAM y el procesador durante las operaciones intermedias de inferencia.

Rendimiento preliminar y aplicaciones

En la configuración descrita por Samsung, el módulo mantiene una apariencia cercana a la LPDDR5X estándar y utiliza 561 bolas de conexión para el encapsulado. La implementación contempla dos bandas de 64 bits y módulos de 16 GB, con cuatro matrices por banda para un total de ocho matrices.

El salto de ancho de banda procede de la reducción del movimiento de datos, no de una simple elevación de la frecuencia de la memoria. Con LPDDR5X-9600, Samsung calcula un máximo convencional de 76,8 GB/s, mientras que el procesamiento distribuido entre los bancos eleva el ancho de banda efectivo para esas operaciones hasta 614 GB/s.

La compañía probó el diseño con un acelerador de IA de borde que no identificó públicamente y utilizó Llama 3.1 con 8.000 millones de parámetros. Samsung indicó que todavía trabaja en optimizaciones para mejorar la precisión, por lo que las cifras corresponden a una evaluación preliminar y no representan una promesa universal para cualquier modelo o acelerador.

Los resultados dependen del tipo de operación, la organización de los datos y el software que aprovecha las instrucciones PIM. Aun así, la combinación de 2,28 veces menos tiempo de ejecución y 3,01 veces más tokens por segundo ofrece una señal sobre el potencial de acercar la computación a la memoria.

Karam Hwang, de Samsung, afirmó durante la presentación que la compañía no observa un aumento significativo del consumo energético general. Según esa explicación, el procesamiento PIM puede exigir ráfagas de energía más intensas, pero evita transferencias repetidas que también consumen energía y pueden convertirse en un cuello de botella. La afirmación corresponde a la evaluación presentada por Samsung y deberá contrastarse con mediciones independientes y productos comerciales.

Causas de movimientos recientes

En este caso no se trata de un movimiento de mercado cuyo catalizador esté documentado en la información disponible. El anuncio de Samsung puede interpretarse como un contexto tecnológico para la competencia por memorias destinadas a la IA, pero no permite atribuir por sí solo variaciones en las acciones o en los precios de los componentes. El motivo de cualquier movimiento financiero relacionado no está identificado.

Del móvil a los aceleradores de IA

LPDDR5X se asoció durante años principalmente con productos de consumo, aunque su presencia empieza a extenderse a plataformas de cómputo más amplias. Los módulos extraíbles SOCAMM2 permitieron que Nvidia utilizara LPDDR5X como memoria para su CPU Vera, mientras Intel emplea este tipo de memoria en su acelerador de IA Crescent Island.

Esos casos ayudan a explicar por qué Samsung apunta simultáneamente a los mercados móvil, cliente y servidor. LPDDR5X-PIM podría acelerar inferencias en dispositivos de borde y equipos personales, además de integrarse en aceleradores dirigidos a cargas específicas donde HBM ofrece un rendimiento superior, pero con costos y exigencias de energía más altos.

La hoja de ruta de Samsung también contempla LPDDR6X-PIM. La empresa espera contar este año con una especificación inicial ante JEDEC, organismo encargado de establecer estándares para distintas tecnologías de memoria, aunque el calendario de una especificación preliminar no equivale por sí mismo a disponibilidad comercial.

El desafío será convertir las demostraciones y las cifras preliminares en productos compatibles con más modelos, compiladores y aceleradores. Si Samsung consigue preservar el bajo consumo de LPDDR5X mientras limita el costo de integración, el procesamiento en memoria podría convertirse en una herramienta práctica para ampliar la inferencia de IA más allá de los centros de datos equipados con HBM.

Por ahora, LPDDR5X-PIM no sustituye a HBM en las aplicaciones que requieren el máximo ancho de banda sostenido. Su importancia está en otra parte: ofrecer una ruta intermedia para reducir el tráfico de datos, mejorar la eficiencia de modelos de IA y llevar capacidades de inferencia a plataformas donde el presupuesto energético y económico es más limitado.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.
Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín