Por Canuto  

Un equipo de investigadores presentó FlashMap, un borrador de decodificación especulativa que propone bloques coherentes de 16 tokens para acelerar la generación de texto. En sus pruebas con Qwen3-8B reportó hasta 6,14 veces más velocidad en GSM8K, aunque los resultados varían según la tarea y el modelo.
***

  • FlashMap genera un bloque de 16 tokens en una sola pasada y permite que el modelo objetivo verifique la propuesta.
  • Los autores reportan hasta 6,14 veces más velocidad sin pérdida en GSM8K con Qwen3-8B, a temperatura cero.
  • El borrador de 500 millones de parámetros supera a DFlash en velocidad en las nueve tareas evaluadas con Qwen3-8B.

FlashMap busca acelerar la generación de texto con bloques de 16 tokens

Un equipo de investigadores de Polymathic AI, la Universidad de Princeton, USC ISI, NYU y el Flatiron Institute presentó FlashMap, un método de decodificación especulativa para modelos de lenguaje grandes. Su borrador genera un bloque de 16 tokens en una sola pasada, con la intención de acelerar la generación sin alterar el resultado que habría producido el modelo principal.

En las pruebas con Qwen3-8B, el equipo reportó una aceleración de hasta 6,14 veces en GSM8K, una evaluación de razonamiento matemático, con temperatura cero. MarkTechPost también destaca que los pesos para Qwen3-8B y Qwen3-4B están disponibles en Hugging Face y que el proyecto ofrece complementos para vLLM y SGLang.

La propuesta intenta resolver un problema concreto: los modelos generativos producen texto token por token, una secuencia que puede resultar lenta cuando cada nuevo fragmento depende del anterior. FlashMap añade un modelo auxiliar pequeño que anticipa varios tokens y deja que el modelo principal compruebe la propuesta de una vez; el resultado final, según el diseño, conserva exactamente la salida del modelo objetivo.

Cómo funciona la decodificación especulativa

En la decodificación especulativa, un modelo borrador propone una serie de tokens y el modelo objetivo los verifica en paralelo. El objetivo conserva el prefijo coincidente más largo y, si encuentra una discrepancia, continúa desde el punto correspondiente. Así, el sistema puede aceptar varios tokens de una sola vez en lugar de ejecutar una ronda completa de generación por cada token.

La velocidad depende tanto del costo de producir la propuesta como de la cantidad de tokens que el modelo principal acepta. Un borrador que genera bloques grandes con rapidez puede aportar poco si sus predicciones suelen fallar, mientras que uno muy preciso puede perder ventaja si requiere demasiado cómputo para redactar cada bloque.

FlashMap trabaja con bloques de 16 tokens, una longitud que permite al modelo auxiliar proponer una porción considerable de texto en una sola pasada. En el proceso descrito, el modelo objetivo evalúa el bloque completo de manera paralela y confirma la secuencia aceptada, con lo que la aceleración proviene de reducir las rondas necesarias para producir una respuesta.

El borrador está diseñado para ejecutarse en la misma GPU que el modelo objetivo. Las cifras de velocidad del estudio corresponden a pruebas con una NVIDIA H200 NVL, concurrencia uno y precisión bf16, por lo que describen un escenario de evaluación específico y no garantizan idénticos resultados con otro hardware o configuración.

La diferencia frente a otros borradores

La diferencia central frente a DFlash está en cómo se relacionan los tokens propuestos. Según la descripción del equipo, DFlash predice cada posición del bloque de manera independiente, una aproximación que puede producir combinaciones incoherentes cuando las alternativas dependen unas de otras.

El ejemplo presentado por los investigadores compara continuaciones como «New York» y «San Diego». Si cada posición se decide por separado, el borrador podría combinar «New» con «Diego» o «San» con «York», aunque esas parejas no correspondan a las continuaciones más probables; el modelo objetivo tendría que rechazar entonces el token divergente.

FlashMap recurre a un mapa de flujo continuo para relacionar las posiciones del bloque y generar una secuencia conjunta a partir de ruido gaussiano. La idea es que una muestra de ruido seleccione de forma coordinada el modo de continuación para las distintas posiciones, en lugar de decidir cada una por separado.

El borrador utiliza un transformador de difusión de seis bloques, con dimensión de embedding de 2.048 y 16 cabezas de atención. Recibe estados ocultos de las capas 1, 9, 17, 25 y 33 del modelo objetivo; además, copia de este la matriz de embeddings y la cabeza del modelo de lenguaje, que permanecen congeladas durante el entrenamiento.

Entrenamiento y resultados reportados

El entrenamiento se divide en dos etapas. Primero, los investigadores entrenan un maestro de flujo continuo sobre bloques de tokens representados como vectores one-hot y usan entropía cruzada; una reparametrización temporal aborda el vocabulario de 151.936 tokens de Qwen3.

En la segunda etapa, una destilación de semigrupo convierte ese maestro en un estudiante de mapa de flujo, un proceso diseñado para pasar del ruido a los datos en una sola operación. El equipo entrenó los borradores con 500.000 muestras de Open-PerfectBlend y contabilizó alrededor de 4.600 horas de GPU H200 para los modelos y las ablaciones del trabajo.

Para comparar los sistemas, los autores reentrenaron EAGLE-3 y DFlash con los mismos datos y configuraciones. Sus pruebas abarcaron nueve evaluaciones de matemáticas, programación y conversación, con temperaturas cero y uno; en Qwen3-8B, FlashMap de una pasada fue el borrador más rápido en todas las tareas y temperaturas del conjunto reportado.

En Qwen3-8B, el borrador de una pasada superó a DFlash en longitud de aceptación en 15 de las 18 configuraciones, pese a tener aproximadamente la mitad de sus parámetros. El equipo también registró mejoras de 5,5% en matemáticas y 11,1% en conversación a temperatura cero; en el modo de dos pasadas, la longitud de aceptación superó a DFlash en las 18 configuraciones, con una ventaja media de 10%.

Alcances, límites y disponibilidad

El resultado más alto que destaca el estudio fue una aceleración de 6,14 veces en GSM8K con Qwen3-8B a temperatura cero y una longitud de aceptación de 7,69 tokens. En el otro extremo de los resultados resumidos, FlashMap alcanzó 2,28 veces más velocidad en Alpaca a temperatura uno, una diferencia que muestra cómo el beneficio cambia de acuerdo con la tarea y el muestreo.

La ventaja tampoco se replica por igual en todos los modelos. En Qwen3-4B a temperatura cero, FlashMap quedó por detrás de DFlash en cuatro de las nueve tareas evaluadas, por lo que la comparación favorable con Qwen3-8B no debe interpretarse como una superioridad universal.

El equipo informa que EAGLE-3 logró una longitud de aceptación 9% mayor que FlashMap a temperatura uno, pero funcionó 35% más lento en esa comparación. Además, una prueba de barajado examinó si los borradores aprovechan relaciones entre tokens: el modo de dos pasos recuperó gran parte de la ganancia estructural conjunta de un maestro de 16 pasos, mientras que la versión de una pasada conservó solo una fracción pequeña.

Los autores también probaron redactar cuatro muestras de ruido como un árbol, una variante que elevó la aceleración media en 11%. Los pesos de los borradores para Qwen3-8B y Qwen3-4B se ofrecen en Hugging Face bajo licencia Apache-2.0, mientras que el código utiliza la licencia MIT; el paquete flashmap requiere torch y transformers versión 4.56 o posterior.

Para el servicio, la página del proyecto describe una integración con vLLM 0.31 mediante speculative-config y 16 tokens especulativos, además de una ruta para SGLang 0.5.20 que emplea el algoritmo DSPARK y la ruta del borrador de FlashMap. En muestreo por encima de temperatura cero, vLLM requiere configurar draft_sample_method como probabilistic; el modo de dos pasos permite intercambiar parte de la velocidad por una mayor aceptación.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados