Por Canuto  

NVIDIA reportó que tres optimizaciones elevaron 42,5% el rendimiento de decodificación de Ling-3.0-flash en un DGX Spark, con una precisión prácticamente estable en GSM8K. El resultado muestra cómo una combinación de núcleos MoE, cuantización de la cabeza de lenguaje y predicción especulativa puede acelerar un modelo grande en un sistema de escritorio, aunque la mejora fue menor en la prueba de preguntas matemáticas que en los ensayos sintéticos.
***

  • Ling-3.0-flash suma 124.000 millones de parámetros, pero activa 5.100 millones por token y corrió en un DGX Spark con 128 GB de memoria unificada.
  • Humming, una cabeza LM en FP8 y la decodificación especulativa NEXTN elevaron el rendimiento GSM8K de 37,81 a 53,89 tokens por segundo.
  • La latencia media bajó 24,5% y la precisión pasó de 96,89% a 96,82%, un cambio que NVIDIA describió como estadísticamente indetectable.

 

NVIDIA describió una serie de ajustes para ejecutar con mayor rapidez la inferencia de un modelo de mezcla de expertos, o MoE, en una computadora de escritorio DGX Spark. En una evaluación con 1.319 preguntas de GSM8K, las tres técnicas combinadas aumentaron 42,5% el rendimiento de decodificación de Ling-3.0-flash, de Ant Group inclusionAI, sin un cambio de precisión que el equipo considerara estadísticamente detectable.

El resultado importa porque el sistema no es un servidor de centro de datos: integra un superchip GB10 Grace Blackwell, 128 GB de memoria unificada y un ancho de banda de 273 GB/s. NVIDIA probó el modelo con un tamaño de lote de uno, es decir, una solicitud a la vez, y sostuvo que el trabajo permite observar cómo reducir el tiempo de generación de un modelo grande en hardware de escritorio.

La memoria era el principal límite durante la decodificación

Ling-3.0-flash-fp4 tiene 124.000 millones de parámetros en total, aunque activa 5.100 millones por token, y ofrece un contexto nativo de 256.000 tokens. El DGX Spark alcanza hasta 1 petaFLOP en FP4 disperso y NVIDIA lo califica para inferencia con modelos de hasta 200.000 millones de parámetros, pero su ancho de banda de memoria sigue siendo una restricción relevante cuando el sistema genera texto.

Según el análisis técnico de NVIDIA, la lectura de los pesos explica buena parte del tiempo de ejecución en esta configuración, por lo que la carga queda limitada por el movimiento de datos más que por el cómputo disponible. Dos partes concentran la atención: el cálculo de los expertos MoE y la cabeza LM, la matriz que asigna puntuaciones al vocabulario para elegir el siguiente token.

La línea base siguió la receta oficial W4A8 y combinó núcleos MoE FlashInfer MXFP4, operaciones densas CUTLASS GEMM y una ruta de cabeza LM en FP32. En una prueba sintética con una entrada de 32.000 tokens y una salida de 2.000, alcanzó 27,71 milisegundos por token, equivalentes a 36,09 tokens por segundo; ese punto de partida sirvió para medir las mejoras posteriores.

La lógica de las optimizaciones consistió en actuar sobre dos costos distintos: reducir los bytes que se leen en cada paso y producir más de un token por ronda de verificación. Esa distinción ayuda a entender por qué las técnicas no son simplemente tres versiones de la misma solución, sino cambios que pueden combinarse para recortar el trabajo repetido de la inferencia.

Humming, FP8 y predicción especulativa se complementan

La primera mejora sustituyó el backend MoE de FlashInfer por Humming, una biblioteca independiente de núcleos que usa NVRTC para compilar durante la ejecución según la forma de las matrices, los tipos de datos y la GPU. El sistema también cubre la estrecha capa de expertos de 768; NVIDIA indicó que cada núcleo se compila en segundos, frente a los 97 objetivos que la ruta CUTLASS de FlashInfer compila con ninja en un proceso que puede tomar decenas de minutos.

Con Humming MXFP4, el rendimiento del ensayo sintético pasó a 39,45 tokens por segundo, una mejora de 9,3% frente a la línea base. El cambio no altera por sí solo el número de pasos necesarios para producir una respuesta, sino que acelera la parte MoE de cada paso, algo especialmente pertinente cuando la lectura de los pesos domina el tiempo de generación.

La segunda técnica cuantizó a FP8 la cabeza LM, que se almacena en BF16 y tiene dimensiones de 157.184 por 2.560. Como cada token generado requiere leer esa matriz completa, reducir a la mitad el tamaño de esos datos disminuye su costo de lectura; la opción se activa con SGLANG_ENABLE_FP8_LM_HEAD=1 y no se combina con el ajuste base –enable-fp32-lm-head.

Al sumar la cabeza FP8 a Humming, el ensayo sintético alcanzó 43,94 tokens por segundo, 21,7% más que la línea base y 11,4% por encima de Humming sin esa cuantización. La tercera técnica fue la decodificación especulativa MTP, que aprovecha la capa NEXTN integrada en Ling-3.0-flash para proponer tres tokens y permitir que el modelo verifique cuatro posiciones de una vez, sin cargar un modelo borrador separado.

La decodificación especulativa aceleró más las pruebas sintéticas

La verificación de cuatro posiciones cuesta cerca de 2,26 veces un paso ordinario de decodificación, según los datos presentados, y su costo principal se concentra en MoE más que en atención. La razón es que verificar cuatro tokens puede activar hasta 32 expertos, en lugar de los ocho que participan en un paso regular; aun con ese gasto adicional por ronda, producir varios tokens aceptados puede reducir el número total de pasos.

En la prueba sintética, MTP obtuvo una aceptación promedio de 3,90 tokens por ronda y llevó el rendimiento hasta 102,88 tokens por segundo, un aumento de 185,1% frente a la línea base. NVIDIA combinó este enfoque con Humming y la cabeza LM FP8 porque los dos primeros reducen el costo de cada paso, mientras la predicción especulativa busca disminuir cuántos pasos se necesitan.

La integración, sin embargo, requiere cuidado: con FP8 y MTP activados a la vez, el borrador debe compartir el módulo completo de la cabeza LM. Si el framework no conserva esa configuración, puede volver silenciosamente a los valores predeterminados y tratar los pesos FP8 como BF16; el equipo reportó que esto puede reducir la aceptación a 1,00 y llevar el rendimiento por debajo de la línea base.

Por esa razón, NVIDIA recomienda comprobar al iniciar que cada optimización esté activa y remite a un cuaderno de instrucciones de Ling para habilitar juntas la cabeza FP8 y MTP. La advertencia es relevante para desarrolladores que reproduzcan la prueba: una combinación teóricamente válida no garantiza que el sistema la ejecute como se espera si el framework cambia la ruta de inferencia.

En GSM8K, que contiene 1.319 preguntas, NVIDIA usó instrucciones con cinco ejemplos y cadena de pensamiento, temperatura de 0,6, top_p de 0,95 y top_k de 29. Con las tres mejoras, el tiempo por token de salida cayó de 26,45 a 18,56 milisegundos y la velocidad subió de 37,81 a 53,89 tokens por segundo, mientras la latencia media bajó de 15,21 a 11,49 segundos.

GSM8K mostró una mejora menor, pero mantuvo estable la precisión

En esa evaluación, la precisión pasó de 96,89% a 96,82%, una diferencia que NVIDIA calificó como estadísticamente indetectable. La aceptación de MTP fue de 2,68 tokens por ronda, por debajo de los 3,90 de la prueba sintética; por eso el incremento de 42,5% en GSM8K quedó lejos del salto de 185,1% registrado en el ensayo controlado.

El equipo atribuyó la brecha a las características de cada prueba: las salidas sintéticas son más repetitivas y favorecen una aceptación mayor de las predicciones, además de que el ensayo usó decodificación codiciosa y GSM8K empleó muestreo. También influye la longitud de las respuestas, ya que las de GSM8K tuvieron una mediana cercana a 310 tokens, en lugar de la salida fija de 2.000 tokens utilizada en la prueba sintética.

Estos resultados describen una medición concreta y no prueban que el mismo porcentaje de mejora se repita en todas las tareas o configuraciones. El tamaño de lote, la estrategia de generación y la naturaleza de las respuestas forman parte del contexto del ensayo, de modo que la cifra de 42,5% debe leerse como el resultado observado con ese modelo, hardware y conjunto de preguntas.

Ling-3.0-flash utiliza una arquitectura dispersa: cada capa MoE dirige un token a ocho de 512 expertos enrutables y también a un experto compartido, con cerca de 4,1% de los pesos activos por token. El modelo alterna 35 capas Kimi Delta Attention con siete capas Gated MLA en una proporción de cinco a una; según la descripción citada, KDA conserva un estado de tamaño fijo en vez de un caché KV que crece con el contexto.

Ling-3.0-flash combina pesos abiertos y distintas cuantizaciones

La familia Ling 3.0 de Ant Group inclusionAI se distribuye bajo licencia MIT e incluye también Ling-3.0-tiny, un MoE de 7.900 millones de parámetros con 1.300 millones activos. Hay puntos de control base y versiones FP8, INT4 y GGUF para los modelos de la línea, mientras Ling-3.0-flash cuenta además con una versión FP4, que fue la utilizada en el DGX Spark.

El modelo integra predicción de múltiples tokens, de donde procede la capa NEXTN aprovechada para la decodificación especulativa, y el equipo de inclusionAI reporta más de 10.000 entornos interactivos de entrenamiento para agentes de programación, generales y de investigación profunda. NVIDIA señala que el contexto nativo de 256.000 tokens puede ampliarse a 1 millón, aunque la cifra extendida no cambia la configuración de la prueba GSM8K descrita.

En su tarjeta de modelo, inclusionAI reporta 56,6 en SWE-Bench Pro, 72,4 en SWE-Bench Multilingüe, 93,2 en MathArena AIME 2026 y 87,0 en HMMT de febrero de 2026. Artificial Analysis muestra, además, 85,5% en GPQA Diamond y 55,4% en Terminal-Bench 2.1; en Humanity’s Last Exam, el resultado es 22,7 en autoinforme y 23,7% en evaluación independiente.

Las cifras de cuantización también muestran diferencias entre formatos: en GPQA-Diamond, FP4 obtuvo 83,68 frente a 84,97 de BF16; en IFBench, 73,87 frente a 74,49, y en ArcPrize, 68,06 frente a 68,75. SciCode registró la caída más amplia entre esos ejemplos, de 41,24 en BF16 a 38,43 en FP4, por lo que el desempeño depende del benchmark y no se resume en una sola métrica.

Artificial Analysis lista la API de InclusionAI a USD $0,075 por millón de tokens de entrada y USD $0,22 por millón de salida, y calcula un costo combinado cercano a USD $0,05 por millón con una mezcla de caché, entrada y salida de 7:2:1. También midió una velocidad de salida de 231,7 tokens por segundo y la ubicó en tercer lugar entre 26 modelos de su clase; en OpenRouter, Novita y DeepInfra figuran con precios de USD $0,06 de entrada y USD $0,18 de salida.

Como referencia de precios, Artificial Analysis enumera USD $0,18 para Step 3.7 Flash, USD $0,33 para Gemini 3.5 Flash-Lite y USD $1,34 para GPT-5 mediano, pero esas cifras comparan costos y no están ajustadas por calidad. En conjunto, la prueba de NVIDIA destaca una vía para aprovechar un modelo MoE grande en un sistema de escritorio, aunque la ganancia depende del tipo de carga y de una integración correcta de las optimizaciones.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados