Por Canuto  

Zyphra presentó ZAYA1-8B, un nuevo modelo abierto de razonamiento tipo MoE entrenado sobre infraestructura de AMD que, según la empresa, logra competir con sistemas mucho más grandes en matemáticas, código y tareas complejas gracias a una combinación de arquitectura, preentrenamiento orientado al razonamiento y un método de cómputo en tiempo de prueba llamado Markovian RSA.
***

  • ZAYA1-8B usa menos de 1B de parámetros activos y, según Zyphra, supera a varios modelos abiertos de mayor tamaño en matemáticas y razonamiento.
  • El modelo fue desarrollado sobre clústeres AMD MI300X con redes AMD Pensando Pollara, en colaboración previa con IBM Cloud y AMD.
  • Zyphra liberó ZAYA1-8B con pesos abiertos bajo licencia Apache 2.0 y lo puso a disposición para pruebas en Zyphra Cloud.

La firma de investigación en inteligencia artificial Zyphra anunció el lanzamiento de @ZyphraAI ZAYA1-8B, un modelo de razonamiento basado en arquitectura MoE que apunta a maximizar la llamada densidad de inteligencia. La compañía afirmó que el sistema opera con menos de 1B de parámetros activos y aun así supera a modelos abiertos mucho más grandes en tareas de matemáticas y razonamiento.

Según la empresa, ese desempeño acerca a ZAYA1-8B a referentes como DeepSeek-V3.2 y GPT-5-High cuando se le asigna cómputo en tiempo de prueba. La propuesta se inscribe en una competencia cada vez más intensa entre desarrolladores que buscan reducir costos de inferencia sin sacrificar capacidad en tareas complejas.

Para lectores menos familiarizados con el tema, un modelo MoE, o mixture of experts, reparte el trabajo entre distintos bloques especializados en lugar de activar toda la red al mismo tiempo. Esa estrategia puede mejorar la eficiencia, ya que solo una fracción de los parámetros participa en cada consulta.

En el caso de ZAYA1-8B, Zyphra sostuvo que su objetivo fue lograr la mayor inteligencia posible por parámetro. La empresa atribuyó el resultado a varias piezas combinadas: su arquitectura MoE++, un preentrenamiento centrado desde el inicio en razonamiento, una metodología en cascada de aprendizaje por refuerzo y un nuevo esquema de cómputo llamado Markovian RSA.

La compañía aseguró que, en matemáticas y código, ZAYA1-8B supera a todos los modelos de su clase dentro del segmento de pesos SLM. También señaló que se ubica por delante de Qwen3.5-4B y Gemma-4-E4B, además de mostrarse competitivo con modelos de razonamiento de primera generación como DeepSeek-R1-0528, Gemini-2.5-Pro y Claude 4.5 Sonnet en tareas exigentes de razonamiento matemático.

Esas comparaciones son relevantes porque reflejan una de las tendencias dominantes del mercado de IA: la presión por obtener modelos más compactos, baratos y abiertos que mantengan un rendimiento cercano al de sistemas mucho más costosos. Para empresas y desarrolladores, esa brecha puede ser decisiva al momento de elegir infraestructura, licencias y entornos de despliegue.

Entrenamiento en AMD y apuesta por una pila alternativa

Zyphra indicó que ZAYA1-8B fue construido sobre su trabajo previo de preentrenamiento en AMD junto con IBM Cloud y AMD. De acuerdo con la empresa, el modelo fue desarrollado en clústeres personalizados MI300X apoyados por redes AMD Pensando Pollara.

La firma destacó que la mayor memoria HBM disponible en MI300X permite entrenar con contextos más largos y con menos paralelismo. En su mensaje, presentó ese punto como una demostración de entrenamiento de extremo a extremo sobre hardware AMD, un asunto que cobra importancia en un sector dominado durante años por otras plataformas de cómputo para IA.

El anuncio también deja ver un interés estratégico más amplio. A medida que la demanda de entrenamiento e inferencia se dispara, las empresas buscan diversificar proveedores de chips, redes y servicios en la nube para reducir dependencia y mejorar costos. En ese contexto, mostrar un flujo completo de desarrollo sobre AMD tiene una lectura tanto técnica como comercial.

Zyphra agregó que diseñó el entrenamiento con el razonamiento en mente desde la primera etapa del preentrenamiento. Para lidiar con trazas largas de chain of thought en contextos de preentrenamiento cortos, introdujo un método que describió como recorte que preserva la respuesta, el cual elimina la cola de la traza de razonamiento mientras mantiene intacta la respuesta final.

Cambios arquitectónicos y post-entrenamiento en cuatro etapas

En el plano de arquitectura, la empresa detalló tres modificaciones frente a los MoE convencionales. La primera fue Compressed Convolutional Attention, o CCA, un mecanismo de mezcla de secuencias en un espacio latente comprimido que, según Zyphra, logra una compresión de caché KV de 8×.

La segunda fue un router basado en MLP derivado de ZAYA1, acompañado por balanceo de sesgo mediante un controlador PID. La tercera consistió en un escalado residual aprendido. Aunque el anuncio no profundizó en métricas independientes para cada pieza, la compañía presentó estas decisiones como parte central del rendimiento del modelo.

El post-entrenamiento, por su parte, fue descrito como una cascada de RL de cuatro etapas montada sobre una columna vertebral algorítmica compartida. Zyphra enumeró async PipelineRL, regiones de confianza DPPO Binary-TV, agregación de pérdida Dr-GRPO, ventajas MaxRL y una configuración sin KL-en-recompensa.

La secuencia de trabajo incluyó calentamiento de razonamiento, un currículum RLVE-Gym, una fase de RL para matemáticas, código y TTC, y finalmente una etapa de RL conductual. En términos prácticos, esto sugiere un énfasis especial en afinar la capacidad del modelo para resolver problemas estructurados antes de ajustar su comportamiento general.

Para el ecosistema de IA abierta, este tipo de revelaciones técnicas suele tener doble efecto. Por un lado, ofrecen pistas sobre cómo escalar modelos compactos con mayor eficiencia. Por otro, contribuyen a intensificar la carrera por sistemas abiertos capaces de rivalizar con alternativas cerradas en tareas donde el razonamiento preciso importa más que la simple generación fluida de texto.

Markovian RSA y el foco en el cómputo en tiempo de prueba

Uno de los elementos más llamativos del anuncio fue la introducción de Markovian RSA. Zyphra lo describió como un sistema de agregación recursiva de candidatos con arrastre acotado, donde cada ronda solo pasa hacia adelante los últimos τ tokens de cada candidato.

La consecuencia de ese diseño, según la empresa, es que la longitud de contexto permanece siempre acotada sin importar cuánto tiempo razone el modelo. Esta promesa responde a uno de los desafíos más persistentes en IA de razonamiento: cómo aumentar el cómputo durante la inferencia sin disparar de forma descontrolada el uso de memoria y latencia.

Zyphra afirmó que, bajo una configuración de Markovian RSA con cómputo extraalto, ZAYA1-8B supera a DeepSeek-V3.2 y GPT OSS 120B high en APEX-shortlist. La firma añadió que ese ajuste escala el cómputo hasta un promedio de 5,5M tokens por pregunta.

Ese dato sugiere que la compañía no solo está compitiendo en tamaño o eficiencia estática, sino también en cómo administrar el razonamiento deliberado durante la ejecución. En otras palabras, parte de la ventaja que reclama no proviene solo de los pesos del modelo, sino de la forma en que el sistema distribuye trabajo adicional al momento de resolver una consulta difícil.

Para quienes siguen la evolución del sector, esta estrategia encaja con una tendencia clara. Varias empresas están explorando métodos de test-time compute para mejorar resultados sin necesidad de expandir de forma drástica el tamaño base del modelo. Si esas técnicas se consolidan, podrían cambiar la relación entre costo, latencia y precisión en productos comerciales de IA.

Licencia abierta y disponibilidad inmediata

Zyphra se definió como una empresa abierta de investigación y productos de superinteligencia con sede en San Francisco, California. En su presentación, reiteró que su misión es construir inteligencia artificial alineada con los humanos que ayude a individuos y organizaciones a alcanzar su máximo potencial.

Junto con el anuncio técnico, la firma informó que ZAYA1-8B se libera con pesos abiertos bajo licencia Apache 2.0. Además, indicó que el modelo puede probarse de forma gratuita desde Zyphra Cloud, una decisión que amplía el alcance del lanzamiento entre desarrolladores, investigadores y empresas interesadas en evaluar alternativas abiertas.

La empresa también enlazó un blog, un informe técnico, los pesos del modelo y el acceso en la nube como parte del estreno. Esa combinación es relevante porque facilita tanto la inspección de detalles técnicos como la experimentación directa, dos factores clave para ganar tracción en la comunidad de IA abierta.

Aunque las afirmaciones de rendimiento aún deberán ser contrastadas por evaluaciones externas más amplias, el lanzamiento de ZAYA1-8B refuerza dos señales del mercado. La primera es que la competencia por modelos abiertos de alto rendimiento sigue acelerándose. La segunda es que AMD busca consolidarse como una plataforma viable para entrenamiento avanzado, justo cuando la infraestructura de IA se convierte en uno de los campos más disputados de la industria tecnológica.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados