Por Canuto  

Prime Intellect presentó Prime Mega MoE, una extensión de entrenamiento basada en el kernel Mega MoE de DeepSeek que añade un pase backward fusionado. Según las pruebas de la empresa, redujo hasta 34% los tiempos de entrenamiento frente a su línea base. La mayor aceleración anunciada, de 3,11 veces, corresponde al pase forward de una capa de Qwen3-30B-A3B, no al entrenamiento completo.
***

  • Los pasos completos de entrenamiento fueron entre 32% y 34% más rápidos que la línea base de prime-rl, y entre 48% y 55% frente a TorchTitan en las pruebas publicadas.
  • El mayor resultado individual fue una mejora de 3,11 veces en el pase forward de una capa MoE de Qwen3-30B-A3B.
  • La mejora del pase backward fue menor: llegó a 1,87 veces en Qwen3-30B-A3B y a 1,24 veces en Qwen3-235B-A22B.

 

Un kernel para entrenar, no solo para inferir

Prime Intellect presentó Prime Mega MoE, una extensión de entrenamiento basada en el kernel Mega MoE de DeepSeek, que originalmente cubría el pase forward. La empresa agregó una implementación rápida y superpuesta del pase backward, con lo que busca convertir esa operación fusionada en una herramienta para entrenar modelos de mezcla de expertos, además de usarla para inferencia. Prime Intellect describe el desarrollo en su publicación Prime Mega MoE: Fast Fused MoE Kernels for Training. Según los resultados difundidos por la empresa, el cambio redujo los tiempos de entrenamiento completo en modelos Qwen3.

Los modelos mixture-of-experts, o MoE, distribuyen el procesamiento entre varios expertos y activan solo una parte de ellos para cada token. En una configuración distribuida, los tokens deben viajar hasta las GPU que alojan los expertos, pasar por sus operaciones y regresar con los resultados, de modo que la comunicación entre dispositivos forma parte central del trabajo. Cuando las etapas de envío, cálculo y retorno se ejecutan por separado, la GPU puede quedar esperando a que termine el traslado de datos.

El kernel Mega MoE de DeepSeek combina en una sola llamada el despacho paralelo hacia los expertos, dos capas lineales, la activación SwiGLU y la combinación de resultados. También permite que el cálculo avance sobre un grupo de tokens mientras otro se encuentra en tránsito, y evita algunos tensores intermedios mediante buffers temporales alojados en GPU. Prime Intellect desarrolló la parte backward que faltaba y la diseñó para superponer igualmente comunicación y cómputo.

La propuesta se integra como backend de despacho en prime-rl, el entrenador de Prime Intellect, y no constituye un modelo nuevo. Los desarrolladores pueden seleccionarla con el tipo de despacho mega_moe y elegir entre las opciones de precisión BF16, MXFP8, FP8 o fp8_bwd, que utiliza BF16 en el forward y FP8 en el backward. Los kernels de entrenamiento se distribuyen en un paquete precompilado de DeepGEMM a través de prime-kernels; la versión estándar de DeepGEMM no los incluye.

Qué muestran las pruebas de rendimiento

Prime Intellect reportó resultados para Qwen3-30B-A3B y Qwen3-235B-A22B, ambos con 128 expertos y enrutamiento top-8. Las pruebas de entrenamiento utilizaron nodos con ocho GPU NVIDIA H200, precisión FP8, secuencias de 16.384 tokens y activación completa de checkpointing; los clústeres sumaron 32 GPU para el modelo de 30.000 millones y 128 para el de 235.000 millones. Cada cifra corresponde al promedio de los pasos 6 a 20.

En Qwen3-30B-A3B, Prime Mega MoE completó cada paso en 2,08 segundos, frente a 2,78 segundos para la línea base de prime-rl y 3,07 segundos para TorchTitan con FP8. La reducción fue de 34% respecto de la línea base y de 48% frente a TorchTitan. En throughput, la comparación con TorchTitan pasó de 5.337 a 7.886 tokens por segundo por GPU.

Para Qwen3-235B-A22B, el tiempo por paso bajó a 9,65 segundos, desde 12,72 segundos en la línea base de prime-rl y 14,98 segundos en TorchTitan. Prime Intellect calculó una mejora de 32% frente a su línea base y de 55% respecto de TorchTitan, mientras el throughput comparado con este último subió de 1.094 a 1.697 tokens por segundo por GPU. La línea base propia usa torch all-to-all junto con expertos FP8 de DeepGEMM.

Las mediciones de una capa individual también mostraron diferencias entre los dos pases. En una prueba con un nodo de ocho H200, paralelismo de expertos de ocho, 128 expertos, top-8 y enrutamiento aleatorio, la capa de Qwen3-30B-A3B redujo su forward de 12,0 a 3,9 milisegundos, una aceleración de 3,11 veces; el backward pasó de 15,4 a 8,2 milisegundos, o 1,87 veces. Al contar dos forward y un backward, el tiempo de la capa descendió de 39,3 a 15,9 milisegundos.

Alcance, compatibilidad y límites

En la capa de Qwen3-235B-A22B, el forward mejoró de 20,7 a 9,5 milisegundos, equivalente a 2,17 veces, mientras el backward bajó de 30,5 a 24,6 milisegundos, o 1,24 veces. Con dos pases forward y uno backward, la medición total cayó de 71,9 a 43,7 milisegundos, una mejora de 1,64 veces. Los datos muestran que la aceleración del forward no debe confundirse con una mejora idéntica en cada parte del entrenamiento.

Las cifras son autorreportadas por Prime Intellect y corresponden a condiciones concretas de hardware, modelo y precisión; no garantizan el mismo resultado en otras cargas de trabajo. La cifra máxima de 3,11 veces se refiere únicamente al pase forward de una capa de Qwen3-30B-A3B, mientras que la mejora de hasta 55% compara pasos completos de entrenamiento con TorchTitan en el conjunto de pruebas descrito. Esa distinción importa para estimar ahorros en clústeres reales.

La empresa indica compatibilidad con GPU NVIDIA Hopper y Blackwell: FP8 por bloques funciona en Hopper, mientras MXFP8 se admite en Blackwell, y BF16 está disponible en ambas generaciones. Su comparación con TorchTitan debe leerse dentro de las configuraciones publicadas, no como una medición universal entre herramientas. La fuente advierte que un resultado de hasta 41% para TorchTitan procede de otra prueba, con B200, un modelo de 671.000 millones de parámetros y una línea base BF16, por lo que no es directamente comparable.

Prime Mega MoE se diferencia de la implementación Mega MoE de DeepSeek porque esta última aporta el pase forward, pero no un backward fusionado para entrenamiento. TorchTitan con DeepEP sí admite entrenamiento, aunque emplea kernels de despacho separados, mientras la documentación de diseño de AMD Primus MegaMoE también describe una estrategia fusionada para sus GPU MI355X. Estas alternativas emplean combinaciones distintas de hardware, tipos de datos y etapas de cómputo, así que sus cifras publicadas no permiten ordenar su rendimiento sin pruebas equivalentes.

El siguiente paso práctico para los equipos interesados es probar el backend en sus propios modelos y clústeres, especialmente porque las ganancias varían entre el forward y el backward y entre los dos tamaños de Qwen3. Prime Intellect publica la implementación mediante prime-rl bajo licencia Apache 2.0, con sus kernels de entrenamiento empaquetados en prime-kernels, y admite los formatos de precisión indicados para Hopper y Blackwell. El anuncio ofrece una vía para reducir tiempos de entrenamiento, pero los datos disponibles siguen siendo resultados de la propia empresa y no una evaluación independiente.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados