Por Canuto  

Nous Research asegura que un ajuste fino de Qwen3.8-27B redujo de 22% a 0,9% la proporción de respuestas que su prueba clasificó como propaganda estatal china, sin cambios apreciables en una evaluación interna de capacidades generales. El experimento, publicado junto con los pesos y los datos, abre preguntas sobre qué mide realmente ese sesgo y hasta dónde puede generalizarse el resultado.
***

  • Nous entrenó Arete-27B con unos 53 millones de tokens y reportó una caída de la tasa de propaganda de 22% a 0,9%.
  • La prueba de 803 prompts evaluó siete temas y utilizó Grok 4.7 como juez de las respuestas, con hechos de referencia definidos para cada pregunta.
  • La compañía publicó los pesos y los conjuntos de datos bajo licencia Apache 2.0, aunque las cifras no equivalen a una evaluación independiente.

Un ajuste fino de Qwen3.8-27B, el modelo de Alibaba, redujo de 22% a 0,9% la proporción de respuestas que una evaluación clasificó como propaganda estatal china, según Nous Research. La firma presentó Arete-27B, una versión modificada con cerca de 53 millones de tokens de entrenamiento, y sostiene que el cambio no deterioró de forma apreciable las capacidades generales del sistema.

El resultado sugiere que ciertas respuestas alineadas con la narrativa oficial de Pekín podrían depender de una capa de comportamiento susceptible de modificación, en vez de ser inseparables del modelo. Sin embargo, las cifras proceden de una prueba construida por Nous y de una evaluación cuyos criterios y límites importan tanto como el porcentaje final; no demuestran por sí solas que todo sesgo político en modelos chinos sea superficial.

Una prueba diseñada para detectar respuestas alineadas con Pekín

Nous armó una evaluación de 803 prompts distribuidos en siete categorías: libertad de expresión, ideología estatal, educación, privacidad y vigilancia, democracia y medio ambiente, entre otras. Para cada pregunta, el equipo seleccionó entre dos y cuatro hechos de referencia a partir de una fuente fechada, como una ley, un reportaje o un artículo de investigación, y comparó las respuestas con esos datos.

La empresa definió como propaganda una respuesta que reprodujera la narrativa oficial de Pekín en lugar de los hechos, que la respaldara o que la presentara como una perspectiva igualmente válida. El sistema de evaluación debía señalar la redacción específica que sustentaba su juicio, y no recibía información sobre cuál modelo había escrito cada contestación, de acuerdo con la metodología descrita por Nous.

Para emitir esos juicios, el equipo eligió Grok 4.7, de xAI, como modelo evaluador. La selección importa porque una prueba automatizada no observa directamente una propiedad objetiva llamada propaganda: aplica una definición editorial a las respuestas y depende de la capacidad del juez para distinguir omisiones, contradicciones y narrativas políticas; Nous no presenta aquí una validación independiente de ese evaluador.

En la prueba, el Qwen3.8-27B original obtuvo 2,32 sobre 5 en precisión fáctica y registró una tasa de propaganda de 22%. La compañía comparó ese resultado con cifras inferiores a 1% para Mistral Large 4 y Gemma 4 31B, mientras GLM-5.3 alcanzó 15% y DeepSeek V4.1 Flash, 16%; son resultados dentro de este marco de evaluación, no una clasificación universal de los modelos.

El ajuste fino y sus resultados

Nous eligió Inkling, de Thinking Machines Lab, como modelo profesor para producir datos de entrenamiento sintéticos. Según la empresa, optó por un modelo cerrado porque uno abierto podía estar sujeto a términos de servicio que prohíben la destilación; el equipo también consideró Nemotron 3 Ultra, de Nvidia, pero afirma que detectó señales de irregularidad en temas relacionados con China.

La compañía sospechó que ese sesgo podría haberse trasladado desde el entrenamiento con modelos chinos abiertos y dijo haber observado contaminación similar en proyectos propios. El origen de los datos sintéticos merece atención: Thinking Machines había utilizado modelos como Kimi K2.5, de China, para generar parte de los datos de Inkling, una conexión que complica cualquier afirmación simple sobre la procedencia de los comportamientos políticos.

El ajuste de Qwen consistió en aprendizaje supervisado con alrededor de 53 millones de tokens durante dos épocas. Nous indicó que no aplicó aprendizaje por refuerzo ni optimización de preferencias y que eliminó previamente las coincidencias entre los prompts usados para entrenar y los de prueba, una medida destinada a reducir el riesgo de que el modelo simplemente memorizara las preguntas de la evaluación.

La mezcla de datos de entrenamiento quedó distribuida casi por igual entre las siete categorías, y la mayoría de los ejemplos tenía menos de 1.000 tokens, según el equipo. Arete-27B elevó la precisión fáctica a 2,98 sobre 5 y redujo a 0,9% la proporción de respuestas calificadas como propagandísticas, aunque estos cambios reflejan el diseño y la escala de la prueba de Nous.

Mejoras en libertad de expresión y límites de la evaluación

El salto más pronunciado se produjo en la categoría de libertad de expresión. Allí, la puntuación de hechos pasó de 0,89 a 2,44, mientras la tasa de respuestas clasificadas como propaganda bajó de 60% a 1%, de acuerdo con los resultados publicados por la empresa.

Con el modo de razonamiento activado, Arete-27B llegó a 3,07 puntos de precisión factual. Nous advirtió que esa cifra se basa por ahora en dos de cinco ejecuciones previstas, por lo que el dato todavía no ofrece la misma base de comparación que una evaluación completada en todas sus repeticiones.

La firma también evaluó capacidades generales mediante Hermes Bench, una prueba interna: Arete-27B obtuvo 65,60%, frente a 65,77% del modelo base. En Terminal-Bench 2.1, la puntuación subió de 67% a 70%, pero Nous no presentó esa diferencia como una mejora confirmada porque las configuraciones de prueba no eran iguales.

Con esas salvedades, el equipo sostuvo que la capa de sesgo se aplica tarde y de forma delgada, y que la supervisión cuidadosamente seleccionada puede eliminarla sin alterar lo demás. Esa interpretación es la conclusión de Nous, no una demostración de que los ajustes siempre preserven todas las capacidades o funcionen igual en otros modelos, idiomas y temas políticos.

Un debate más amplio sobre sesgo, datos y acceso abierto

El nuevo proyecto marca un giro respecto de Hermes 3, que Nous describió en 2024 como deliberadamente neutral y adaptable a la perspectiva fijada en el mensaje de sistema. Arete-27B, en cambio, se presenta con una orientación de valores occidentales, una elección que plantea una pregunta de fondo: quién define la neutralidad y qué criterios deben guiar la corrección de respuestas políticas en modelos de propósito general.

El experimento se suma a investigaciones anteriores sobre respuestas políticas y errores en sistemas de IA. En 2025, NewsGuard informó que cinco modelos líderes, incluido Qwen, repetían o no corregían desinformación favorable a China en 60% de los casos; CrowdStrike, por su parte, observó que DeepSeek generaba código menos seguro cuando las consultas mencionaban Falun Gong, Tíbet o Taiwán.

Otro estudio de Aleph Alpha, basado en 967 preguntas políticamente sensibles, encontró respuestas equilibradas en entre 17% y 41% de los casos en modelos de Alibaba, DeepSeek y Moonshot AI. Una evaluación reciente de ValsAI también describió diferencias entre sistemas chinos: GLM-5.3 Flash reconoció explícitamente violaciones de derechos humanos, mientras Kimi K3 negó la existencia de campos de internamiento; el idioma y el formato de las preguntas influyeron en los resultados, y modelos occidentales también adoptaron ocasionalmente posiciones oficiales de Pekín.

Nous informó que recaudó USD $90 millones en una ronda Serie B realizada en octubre, con una valoración de USD $1.500 millones. Robot Ventures lideró la ronda y Nvidia y Samsung participaron; la empresa dijo que destinaría recursos a su oferta empresarial Hermes for Businesses, mientras Arete-27B ofrece otra muestra de su trabajo con modelos abiertos.

Los pesos del modelo, el conjunto de prueba y los datos de entrenamiento quedaron disponibles en Hugging Face bajo licencia Apache 2.0, lo que permite examinar y reutilizar esos materiales conforme a sus condiciones. Esa publicación facilita que otros equipos revisen la metodología y prueben el resultado, pero la afirmación central seguirá dependiendo de replicaciones externas, evaluaciones con distintos jueces y pruebas en otros contextos culturales y lingüísticos.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados