Por Canuto  

Nous Research asegura que un ajuste con 53 millones de tokens redujo del 22% al 0,9% las respuestas propagandísticas de un modelo de Alibaba, sin deteriorar sus capacidades generales en las pruebas reportadas por la compañía.
***

  • Arete-27B parte de Qwen3.8-27B y recibió dos épocas de fine-tuning supervisado, sin aprendizaje por refuerzo ni optimización de preferencias, según Nous.
  • En una evaluación propia de 803 prompts, Nous reporta que la propaganda cayó al 0,9% y la precisión factual subió de 2,32 a 2,98 sobre 5.
  • La compañía publicó los pesos y los datos del proyecto bajo licencia Apache 2.0, aunque advierte que algunos resultados de evaluación aún son preliminares.

 

Nous Research presentó Arete-27B, un modelo de pesos abiertos basado en Qwen3.8-27B de Alibaba que, según la compañía, reduce las respuestas alineadas con la propaganda estatal china. Su equipo ajustó el modelo con cerca de 53 millones de tokens y reporta que la proporción de respuestas propagandísticas pasó de 22% a 0,9%, mientras la precisión factual mejoró en su evaluación. Nous sostiene que las capacidades generales se mantuvieron prácticamente estables, aunque los resultados corresponden a las pruebas descritas por la propia empresa.

El proyecto aborda un problema que Nous observó en el modelo base: ante asuntos sensibles para el Partido Comunista Chino, podía responder con negativas, evasivas o afirmaciones que reproducían la posición oficial de Pekín. La empresa presenta Arete como una alternativa con valores que describe como occidentales, en contraste con esa línea, y lo diferencia de su enfoque anterior de neutralidad. Su conclusión central es que el sesgo puede residir en una capa superficial de comportamiento, susceptible de modificarse mediante entrenamiento supervisado.

Una evaluación diseñada alrededor de hechos verificables

Para medir ese comportamiento, Nous construyó una prueba propia con 803 prompts distribuidos en siete categorías: libertad de expresión, ideología estatal, educación, privacidad y vigilancia, democracia y medio ambiente, entre otras. Para cada pregunta, el equipo definió entre dos y cuatro hechos que debían aparecer en la respuesta, con base en una fuente fechada, como una ley, una noticia o un artículo de investigación. El objetivo era evaluar si el modelo mencionaba, omitía o contradecía información concreta, en vez de calificar solo el tono de sus respuestas.

Nous utilizó Grok 4.7 como modelo juez para revisar las respuestas y determinar si reproducían narrativas oficiales de Pekín, las respaldaban o las presentaban como una perspectiva igualmente válida frente a los hechos. Según la metodología descrita, el juez debía citar el fragmento específico que sustentaba su calificación y no conocía qué modelo había generado cada respuesta. La empresa reconoce así un papel importante para un evaluador automatizado, cuya lectura organiza los resultados de la comparación.

En esa prueba, el Qwen3.8-27B original obtuvo 2,32 sobre 5 en precisión factual, y 22% de sus respuestas quedaron clasificadas como propaganda. Nous situó por debajo de 1% a modelos como Mistral Large 4 y Gemma 4 31B; en cambio, GLM-5.3 registró 15% y DeepSeek V4.1 Flash, 16%. Estas cifras pertenecen al conjunto de prompts y al criterio de evaluación empleados por la compañía, por lo que describen ese experimento y no una medición universal de todos los usos de los modelos.

El diseño del conjunto de entrenamiento también buscó limitar una posible contaminación de la prueba: Nous afirma que eliminó los solapamientos entre los prompts usados para entrenar y los de evaluación. El equipo eligió Inkling, de Thinking Machines Lab, como modelo maestro para generar los datos, porque consideró que recurrir a un modelo abierto podía contravenir términos de servicio que prohíben la destilación. La selección, por tanto, estuvo ligada tanto al método de creación de datos como a las restricciones de uso que la empresa quería respetar.

El ajuste y los resultados de Arete-27B

Nous aplicó fine-tuning supervisado durante dos épocas sobre unos 53 millones de tokens, sin incorporar aprendizaje por refuerzo ni optimización de preferencias. La distribución de los datos de entrenamiento fue casi uniforme entre las siete categorías de valores, y la mayoría de los ejemplos tenía menos de 1.000 tokens. Con este procedimiento, Arete-27B alcanzó 2,98 sobre 5 en precisión factual y redujo la proporción de respuestas propagandísticas a 0,9%, de acuerdo con los resultados publicados por la compañía.

El cambio más marcado apareció en libertad de expresión, una de las áreas donde el modelo base presentaba mayores dificultades. La puntuación factual de esa categoría subió de 0,89 a 2,44, mientras la tasa de propaganda bajó de 60% a 1%, según Nous. La empresa también informó una puntuación de 3,07 cuando Arete opera en modo de razonamiento, pero aclaró que ese dato se basa hasta el momento en dos de cinco ejecuciones previstas, por lo que todavía tiene una base de evaluación limitada.

La empresa comparó además el desempeño general de ambos modelos en sus pruebas internas y reportó que Arete obtuvo 65,60% en Hermes Bench, frente a 65,77% para Qwen3.8-27B. Nous describió esa diferencia de menos de dos décimas como indistinguible del ruido. En Terminal-Bench 2.1, la puntuación de Arete fue de 70%, frente a 67% del modelo base, aunque Nous dijo que no consideraba esa diferencia una mejora real porque las configuraciones de prueba no eran iguales. La compañía interpreta el conjunto de resultados como una señal de que el ajuste político no afectó de forma sustancial las capacidades generales medidas en sus benchmarks.

El proceso también incluyó decisiones sobre modelos usados como referencia y posibles sesgos heredados. Nemotron 3 Ultra, de Nvidia, figuró entre las opciones consideradas por Nous, pero la compañía afirma haber detectado indicios de irregularidades en temas relacionados con China. El equipo sospecha que estos sesgos pueden trasladarse mediante el entrenamiento con modelos chinos de pesos abiertos y dice haber observado contaminación similar en proyectos propios, aunque esa explicación se presenta como una sospecha y no como una causalidad demostrada.

La elección de Inkling tampoco elimina por completo la cuestión de los datos sintéticos: Thinking Machines utilizó modelos como Kimi K2.5, de China, para generarlos durante el entrenamiento de Inkling, según la información divulgada. Este punto muestra una tensión práctica del desarrollo de modelos: una herramienta empleada como modelo maestro puede incorporar influencias procedentes de otros sistemas. Nous usa el caso para advertir que los comportamientos asociados a una orientación política podrían propagarse incluso cuando el modelo final no se entrena directamente con el sistema que originó esos patrones.

Sesgo político, neutralidad y publicación abierta

Con Arete, Nous se aparta de la orientación de Hermes 3, presentado en 2024 como un modelo deliberadamente neutral que podía adaptarse a la visión del mundo indicada en el prompt del sistema. En este nuevo proyecto, la empresa adopta explícitamente una orientación que denomina de valores occidentales, en lugar de limitarse a dejar que el usuario determine el marco. Esa diferencia convierte a Arete no solo en un experimento técnico, sino también en una decisión sobre qué tipo de comportamiento político quiere ofrecer una compañía que desarrolla modelos abiertos.

El debate se suma a investigaciones anteriores citadas por Nous sobre las respuestas de modelos chinos ante temas políticamente sensibles. NewsGuard informó en 2025 que cinco modelos destacados, incluido Qwen, repetían o no corregían desinformación favorable a China en 60% de los casos analizados. CrowdStrike, por su parte, encontró que DeepSeek generaba código menos seguro cuando las consultas mencionaban Falun Gong, Tíbet o Taiwán, mientras un estudio de Aleph Alpha basado en 967 preguntas concluyó que solo entre 17% y 41% de las respuestas de modelos de Alibaba, DeepSeek y Moonshot AI eran equilibradas.

Otros resultados apuntan a que no existe una respuesta uniforme entre sistemas chinos ni entre formatos de consulta. Un estudio reciente de ValsAI reportó que GLM-5.3 Flash confirmó explícitamente violaciones de derechos humanos, mientras Kimi K3 negó la existencia de campos de internamiento; el idioma y la forma de la pregunta influyeron en las respuestas, y algunos modelos occidentales también adoptaron ocasionalmente posiciones oficiales de Pekín. En ese trabajo, como en la evaluación de Nous, el fine-tuning dirigido apareció como una herramienta capaz de cambiar comportamientos, aunque los resultados dependen de cómo se diseñan y miden las pruebas.

Nous afirma que la capa de sesgo en un modelo alineado con China es superficial: en palabras de la empresa, «se aplica tarde, se aplica en capa delgada, y cincuenta millones de tokens de supervisión cuidadosamente elegida la eliminan sin perturbar nada por debajo». Esa es una interpretación de los resultados de Arete, no una conclusión demostrada para todos los modelos chinos de pesos abiertos. La prueba se concentra en un modelo, un conjunto de preguntas y un procedimiento de evaluación desarrollado por la misma compañía que realizó el ajuste.

Los pesos de Arete-27B, el conjunto de prueba y los datos de entrenamiento quedaron disponibles bajo licencia Apache 2.0 en Hugging Face, de modo que otros equipos pueden examinar el material publicado y reproducir o contrastar el experimento. La iniciativa llega después de que Nous Research recaudara USD $90 millones en una ronda Serie B en octubre, con una valoración de USD $1.500 millones; Robot Ventures lideró la operación y Nvidia y Samsung participaron. La compañía dijo que destinaría recursos a expandir sus ventas empresariales con Hermes for Businesses, mientras Arete suma a su oferta una apuesta más explícita sobre el comportamiento político de los modelos abiertos.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados