Zyphra apuesta por una atención jerárquica para reducir el costo de los contextos largos

Zyphra presentó ZHA, un método de atención dispersa que organiza la búsqueda de información en un árbol para evitar escanear cada token del contexto. Las pruebas con Qwen muestran resultados cercanos a la atención densa y una ventaja en recuperación, aunque las mejoras de velocidad siguen siendo proyecciones y no mediciones con núcleos optimizados.
***

• ZHA añade 81.920 parámetros entrenables a Qwen3.6-35B-A3B y conserva congelado el modelo base.
• En RULER-13 a 256K, el árbol ancho obtuvo 96,2%, frente a 96,0% de la atención densa y 77,1% de MSA.
• Zyphra proyecta aceleraciones de hasta 373 a 417 veces a 1.000 millones de tokens, pero todavía no publicó núcleos optimizados.

⚡ Zyphra presenta una nueva búsqueda para contextos largos

ZHA obtuvo 96,2% en RULER-13 a 256K, frente al 96,0% de la atención densa.

La empresa proyecta hasta 417x más velocidad a 1.000 millones de tokens. Aún no publicó núcleos optimizados: la cifra no es una medición real. pic.twitter.com/4HDdRi4G7V

— Diario฿itcoin (@DiarioBitcoin) November 3, 2026

Zyphra presentó Zyphra Hierarchical Attention (ZHA), un método de atención dispersa que busca cambiar la forma en que los modelos de lenguaje seleccionan información en contextos extensos. En lugar de puntuar una por una todas las claves almacenadas, el sistema organiza resúmenes de esas claves en un árbol y explora las ramas que parecen más útiles para cada consulta.

La propuesta intenta resolver una limitación habitual de la atención dispersa: aunque el modelo final lea solo una parte de los tokens previos, el indexador puede seguir examinando todo el contexto para decidir cuáles elegir. Según el análisis técnico de MarkTechPost sobre ZHA, Zyphra probó el método con Qwen3.6-35B-A3B hasta un contexto de 256K y reportó resultados próximos a la atención densa en pruebas de razonamiento, programación y recuperación.

Un árbol para buscar en la memoria del modelo

La atención determina qué partes del contexto previo utiliza un modelo para responder a una consulta. En modelos que manejan historiales largos, documentos extensos o secuencias de cientos de miles de tokens, calcular esa relación puede demandar cada vez más recursos, por lo que distintas técnicas intentan limitar la información que se consulta sin perder datos importantes.

ZHA conserva completa la caché de claves y valores, conocida como caché KV, pero utiliza un árbol para decidir qué claves leer en cada paso. Primero divide las claves en fragmentos contiguos y comprime cada grupo en una clave de resumen; luego agrupa esos resúmenes y vuelve a comprimirlos en niveles sucesivos, hasta formar una estructura jerárquica que permite buscar desde grupos amplios hacia fragmentos específicos.

Los resúmenes se construyen a partir de un conjunto pequeño de consultas de referencia que el sistema aprende durante la adaptación. Cada consulta estima la masa de atención que un fragmento podría recibir, y el máximo de esas estimaciones aproxima cuánta atención podría asignarle una consulta futura; así, el árbol puede descartar ramas que parecen poco relevantes sin puntuar cada clave almacenada de forma individual.

En la configuración profunda probada con Qwen, los fragmentos tienen tamaño cuatro y seis niveles permiten que cada nodo superior cubra 4.096 tokens. Durante la generación, ZHA aplica una selección top-p: conserva el conjunto más pequeño de nodos que contiene una fracción p de la masa de atención estimada y expande únicamente sus descendientes, hasta llegar a las entradas de la caché KV; el primer token se mantiene siempre como sumidero de atención.

El presupuesto de búsqueda, por tanto, puede variar según la consulta, en vez de permanecer fijo. Una pregunta que depende de un solo dato puede recorrer pocas ramas, mientras que otra que requiere reunir información dispersa puede expandir más nodos; la ventaja potencial depende de que las estimaciones del árbol encuentren un equilibrio entre ahorrar cómputo y no dejar fuera información necesaria.

Resultados competitivos, con una ventaja destacada en recuperación

Zyphra comparó dos configuraciones de ZHA en Qwen3.6-35B-A3B: un árbol profundo, con fragmentos de cuatro tokens y seis niveles, y uno ancho, con fragmentos de 256 tokens y un solo nivel. Ambos utilizaron 16 consultas de referencia y p = 0,95; el equipo también comparó sus resultados con atención densa y con un indexador MiniMax Sparse Attention (MSA), entrenado con 40.000 millones de tokens, diez veces el presupuesto de adaptación reportado para ZHA.

La tabla reúne las puntuaciones publicadas por Zyphra para siete pruebas de razonamiento, programación y recuperación. Los resultados son autoinformados por la empresa, por lo que describen sus evaluaciones y no una verificación independiente.

La diferencia más marcada aparece en recuperación de información. En RULER-13, a 256K, el árbol ancho alcanzó 96,2%, ligeramente por encima del 96,0% de la atención densa, mientras que MSA obtuvo 77,1%; el árbol profundo llegó a 93,3%. En LongBench v2, las dos variantes de ZHA también superaron a la atención densa: 63,4% para el árbol profundo y 62,4% para el ancho, frente a 58,0%.

La comparación de LongBench v2 resalta porque el árbol profundo y MSA leyeron proporciones parecidas de claves, aproximadamente 1,1% y 1%, respectivamente, pero sus puntuaciones difirieron en 14,1 puntos. En 28 geometrías de árbol, Zyphra informó que la precisión de RULER se mantuvo estable al atender entre 10% y 30% de las claves; además, un modelo de cuatro parámetros predijo esa precisión según la geometría con un error cuadrático medio de 1,44 puntos.

Los resultados no fueron uniformes para todas las arquitecturas. En Nemotron-3.5-Lightning-30B-A3B, un modelo basado en NoPE, RULER-13 cayó 25,3 puntos respecto de la atención densa; Zyphra también indicó que los modelos con menos de 1.000 millones de parámetros tuvieron dificultades durante la conversión, mientras que el desempeño mejoró de forma marcada a partir de 4.000 millones.

La aceleración está proyectada, no medida

La empresa no publicó núcleos optimizados para ejecutar ZHA y, por eso, sus cifras de velocidad no proceden de una medición del sistema terminado. En su lugar, modeló la latencia de decodificación de una capa con tamaño de lote uno mediante una estimación de techo de rendimiento en BF16 sobre H100, una referencia teórica que permite comparar costos, pero no sustituye una prueba práctica del software y el hardware desplegados.

Para esa proyección ligera, Zyphra usó una consulta de referencia, fragmentos de ocho tokens y p = 0,75. El modelo calcula que ZHA superaría a la atención densa cerca de los 48K tokens y a MSA cerca de los 0,48 millones de tokens; esos umbrales reflejan las condiciones de la estimación y no garantizan la misma ventaja en una implementación real.

A 1.000 millones de tokens, la empresa proyectó aceleraciones de 373 a 417 veces frente a la atención densa y de 52 a 58 veces frente a MSA. En su publicación técnica también señaló ventajas de 32 a 35 veces y de 4,7 a 5,1 veces, respectivamente, a 10 millones de tokens; por tratarse de resultados modelados, esas magnitudes deben leerse como posibilidades sujetas a la ejecución efectiva.

En una escala más próxima a la evaluación de 256K, las ganancias estimadas son más moderadas. Las configuraciones situadas en la frontera de Pareto proyectaron entre 1,93 y 2,28 veces la velocidad de la atención densa, con una precisión de RULER-13 entre 92,7% y 96,4%; el enrutamiento y la selección de nodos también tienen un costo propio que la implementación deberá compensar.

El contraste con otros métodos ayuda a ubicar la apuesta. DeepSeek Sparse Attention (DSA) puntúa cada clave en caché, mientras que el indexador de MSA opera con bloques planos; Zyphra sostiene que la búsqueda jerárquica hace sublineal el costo del indexador por consulta, aunque los datos de velocidad de ZHA siguen siendo modelados y la fuente no presenta una comparación práctica de sus núcleos con los de esos sistemas.

Adaptación de un modelo congelado y límites por resolver

ZHA se adapta sin modificar los pesos principales del modelo: solo entrena las consultas de referencia. Una pérdida de divergencia KL busca que la masa de atención estimada por fragmentos coincida con la atención densa en cada nivel, de modo que la estructura aprenda a seleccionar claves sin volver a entrenar todo el modelo base.

Las ejecuciones con Qwen y Nemotron utilizaron 3.980 millones de tokens, 1.900 pasos y un contexto de 32K durante la adaptación. En Qwen3.6-35B-A3B, el método añadió 81.920 parámetros entrenables, equivalentes a aproximadamente 0,00024% de los parámetros del modelo, una proporción pequeña que Zyphra presenta como una forma de convertir modelos preentrenados congelados.

La evaluación de Qwen incluyó dos arquitecturas de árbol, y la variante de árbol ancho obtuvo 96,2% en RULER-13 a 256K con atención densa en 96,0%. La empresa también probó una variante de enrutador FP4, pero el material reportado no aporta resultados detallados que permitan comparar esa configuración con las principales cifras de la tabla; por ello, su mención no debe confundirse con una mejora demostrada.

El avance central de ZHA consiste en trasladar la selección de información a una búsqueda jerárquica, en vez de depender de un indexador que recorra el contexto completo. Sus resultados más sólidos aparecen en recuperación, pero las caídas en ciertas pruebas, las dificultades de conversión en modelos pequeños y la falta de núcleos optimizados dejan preguntas abiertas sobre su rendimiento fuera de las estimaciones y evaluaciones publicadas.

El trabajo de Zyphra ofrece una alternativa técnica para modelos que necesitan consultar historiales extensos sin revisar todas las claves en cada paso. Para determinar si la ventaja se traduce en menor latencia y costos en sistemas reales, todavía será necesario medir implementaciones optimizadas y comprobar cómo responden ante arquitecturas y tareas distintas de las incluidas en las pruebas divulgadas.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín