Por Canuto  

Zyphra afirma que su kernel ZYFA acelera hasta 1,76 veces la atención FP8 frente a AITER en una AMD MI355X y reduce el error, aunque las ganancias dependen de las activaciones y el uso queda limitado al prefill.
***

  • ZYFA es de código abierto y apunta al prefill causal en FP8 y BF16, pero está diseñado específicamente para AMD Instinct MI355X.
  • En activaciones reales, Zyphra reporta mejoras FP8 de 1,16 a 1,76 veces frente a AITER; en BF16, la diferencia es mucho menor.
  • El kernel sustituye el cálculo exponencial del softmax por una aproximación y, según la empresa, logra menos error FP8 que AITER.

Zyphra presentó ZYFA, una biblioteca de kernels de atención que busca acelerar el prefill de modelos de inteligencia artificial en las GPU AMD Instinct MI355X. La empresa afirma que su implementación FP8 alcanza entre 1,16 y 1,76 veces el rendimiento de AITER, la biblioteca de kernels de AMD, cuando se prueba con activaciones reales de modelos; también reporta menor error numérico en una configuración clave. La mejora, sin embargo, no es uniforme: varía según el modelo y el rendimiento medido en pruebas sintéticas no se traslada por completo a cargas reales.

Una optimización enfocada en el prefill

ZYFA, sigla de Zyphra FlashAttention on AMD, está pensado para la etapa de prefill, en la que un modelo procesa el contexto de entrada antes de generar una respuesta. La biblioteca implementa atención causal hacia adelante en FP8 e4m3 y BF16, con dimensión de cabeza 128 y una forma MLA de 192/128. Zyphra publica el código bajo la licencia Apache 2.0 y ofrece una interfaz compatible con flash_attn_func, aunque su alcance actual se limita a la MI355X.

Zyphra describe ZYFA como parte del motor de atención de su Zyphra Optimization Engine (ZOE), que funciona en GPU MI355X y alimenta tanto Zyphra Cloud como despliegues locales. Los kernels BF16 están escritos en HIP, mientras que los de FP8 se generan mediante un programa en Python que emite ensamblador planificado manualmente. Según la descripción técnica de la implementación, se requiere ROCm 7.2.3 y PyTorch 2.12, por lo que no se presenta como un kernel genérico para cualquier GPU de AMD.

La diferencia entre prefill y otras etapas importa al evaluar el alcance de la propuesta. ZYFA no ofrece, según la información publicada, kernels para decode ni soporte para caché KV paginada, funciones presentes en otras bibliotecas de atención. Su foco es estrecho: acelerar el cálculo de atención causal durante el procesamiento inicial de contexto, una etapa que puede volverse costosa cuando las secuencias son largas.

La comparación principal es con AITER, la biblioteca de AMD, pero las cifras deben leerse dentro de las condiciones que reporta Zyphra. La compañía no midió GPU de NVIDIA para la tabla comparativa y advierte que los datos entre proveedores pueden proceder de entradas y relojes distintos. Así, los resultados permiten valorar el avance dentro de la plataforma MI355X, pero no establecer por sí solos una clasificación directa frente a productos de otros fabricantes.

El softmax, un límite para la velocidad FP8

El argumento técnico de Zyphra parte de una asimetría en el cálculo de atención. FP8 puede ejecutar las multiplicaciones matriciales QKᵀ y PV al doble del pico de BF16, pero el softmax que conecta ambas operaciones utiliza la unidad vectorial y no obtiene la misma aceleración por reducir la precisión. En un ejemplo de 32 consultas frente a 128 claves, la multiplicación matricial FP8 necesita 1.024 ciclos, mientras que el softmax exacto requiere 896 ciclos vectoriales.

Ese reparto deja poco margen para que las unidades matriciales trabajen sin pausas: para sostener el rendimiento, el kernel debe solapar casi perfectamente el softmax y las multiplicaciones. Zyphra señala que los rastros de hilos de AITER muestran la canalización matricial inactiva durante 31,7% de los ciclos en sus mediciones. La empresa también indica que MI355X no rastrea por hardware la finalización de instrucciones matriciales, de modo que el ordenamiento de instrucciones debe crear el solapamiento.

La técnica central de ZYFA, llamada Lean P, reemplaza parte del cálculo exponencial habitual por una aproximación que aprovecha la representación de los valores FP8 e4m3. Según la explicación técnica de Zyphra, los patrones de bits de ese formato, interpretados como enteros, aumentan aproximadamente ocho unidades cada vez que el valor se duplica; por ello, el cálculo de 2 elevado a x puede aproximarse con una multiplicación-suma y una conversión entera.

En las mediciones de la empresa, Lean P reduce de 896 a 384 los ciclos vectoriales de softmax por bloque. ZYFA combina esa reducción con un planificador de dos olas que alterna el trabajo de cálculo de probabilidades y las instrucciones matriciales en cada SIMD. Zyphra estima que, en régimen estable, este esquema mantiene ocupado el pipeline matricial durante 86% de los ciclos, frente a 60% cuando se usa la exponencial precisa.

Resultados, precisión y límites de las pruebas

En activaciones reales a 16.000 tokens, Zyphra reporta una ventaja FP8 de 1,16 veces para Mistral-7B, 1,17 veces para Qwen3-8B y 1,76 veces para DeepSeek-V2-Lite frente a AITER. En BF16, en cambio, ZYFA queda casi empatado, con resultados de 1,01 a 1,02 veces el rendimiento de AITER. La diferencia evidencia que el beneficio más destacado se concentra en la ruta FP8 y no equivale a una aceleración general de todas las precisiones.

En pruebas gaussianas con secuencias de 32.000 tokens y dimensión de cabeza 128, ZYFA alcanza 2.672 TFLOP/s FP8, frente a 1.944 TFLOP/s de AITER, según la comparación de Zyphra. La empresa calcula que su resultado equivale a 53% del pico teórico FP8 de la tarjeta, mientras que AITER llega a 39%. En la forma MLA, los valores son 2.464 y 1.237 TFLOP/s, respectivamente, una relación de 1,99 veces.

El panorama cambia al pasar de cargas sintéticas a capas capturadas de modelos. En pruebas de Mistral-7B y Qwen3-8B, Zyphra reporta una eficiencia de 1,94 y 1,91 TFLOP por joule; para AITER, las cifras son 1,60 y 1,56 TFLOP por joule. No obstante, la empresa destaca que el reloj de la GPU puede variar según los bits que cambian en los operandos: con la capa de Mistral-7B, ZYFA funcionó a 1.628 MHz y AITER a 2.108 MHz, aunque ZYFA necesitó menos ciclos en total.

En precisión, Zyphra compara los resultados con atención calculada en FP64 y afirma que el error de ZYFA equivale a 0,22 veces el de AITER en Mistral-7B y a 0,38 veces en Qwen3-8B, para dimensión de cabeza 128. En el modelo completo Mistral-7B, la divergencia KL respecto a FP64 fue de 3,4 × 10⁻³ para ZYFA y de 5,9 × 10⁻³ para AITER. La empresa también informa que las salidas fueron idénticas bit a bit en 7.200 lanzamientos, una observación sobre reproducibilidad que no sustituye la evaluación de precisión frente a una referencia.

Qué significan las cifras para quienes prueban el kernel

La reducción del error FP8 tiene una explicación adicional: el equipo atribuye buena parte del error del modelo completo a la cuantización de Q, K y V, no exclusivamente al kernel de atención. Una rotación de Hadamard aplicada a Q y K reduce aproximadamente a la mitad ese error de entrada, de acuerdo con los resultados de Zyphra. La operación añade cerca de 0,1% al tiempo de atención en Mistral-7B, una penalización pequeña según la medición reportada, aunque la fuente no ofrece aquí un análisis de todas las arquitecturas o secuencias.

ZYFA también escala cada bloque de 64 probabilidades por una potencia de dos antes del redondeo. La empresa explica que una instrucción matricial escalada de CDNA4 elimina luego ese factor sin costo adicional, y que el kernel divide por la suma de probabilidades ya redondeadas, calculada con una instrucción matricial extra por bloque. Estas decisiones buscan conservar un resultado útil pese a la aproximación Lean P y a la cuantización, pero su calidad debe juzgarse junto con las métricas de error, no solo por el tiempo de ejecución.

El contraste de relojes refuerza una recomendación práctica del equipo: evaluar el kernel con activaciones reales y frecuencias sostenidas, en vez de basarse únicamente en pruebas gaussianas. Los operandos pueden cambiar la cantidad de bits que conmuta la GPU y, con ello, alterar el reloj observado; por esa razón, un benchmark sintético puede mostrar una relación distinta de la que aparece en una capa de un modelo. En este caso, las ganancias reales reportadas abarcan desde 1,16 veces hasta 1,76 veces.

La conclusión más sólida es acotada: ZYFA propone una implementación FP8 más rápida y con menor error que AITER en las condiciones publicadas para MI355X, además de abrir el código bajo Apache 2.0. No es, por ahora, una solución completa para todas las fases de inferencia ni una comparación independiente entre fabricantes, y sus ventajas dependen de la forma de atención, el modelo y la carga medida. Para los equipos que operan MI355X, el repositorio ofrece una opción que merece evaluación con sus propias activaciones y requisitos de precisión.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados