Por Canuto  

Z.ai y Concordia AI diseñaron un marco de seis etapas para evaluar los riesgos de los modelos de pesos abiertos, cuya publicación dificulta revertir su distribución y controlar sus usos posteriores. La propuesta combina análisis durante distintas fases del desarrollo con decisiones graduales sobre qué modelos publicar y bajo qué condiciones.
***

  • El marco evalúa riesgos antes del desarrollo, antes del despliegue y después de que el modelo entra en uso.
  • La evaluación clasifica los modelos en zonas verde, amarilla y roja, asociadas con publicación completa, restringida o suspensión.
  • El informe cita GLM-5.3 como ejemplo de publicación gradual; por separado, diarioti.com reportó que Z.ai aplazó la distribución de sus pesos para realizar una revisión de seguridad.

Z.ai y Concordia AI proponen seis etapas para identificar, evaluar y gestionar los riesgos asociados con modelos de inteligencia artificial de pesos abiertos. El esquema busca atender una dificultad central de estos sistemas: después de publicar sus parámetros, sus desarrolladores pierden capacidad para supervisar los usos y revertir la distribución.

  • El documento considera que el ajuste fino puede debilitar las salvaguardas incorporadas durante el entrenamiento.
  • La evaluación propone zonas verde, amarilla y roja para orientar las decisiones de publicación.
  • El informe cita GLM-5.3 como ejemplo de apertura gradual. En una cobertura aparte, diarioti.com reportó que Z.ai aplazó la distribución de sus pesos para realizar una revisión de seguridad.

Z.ai plantea seis etapas para gestionar los riesgos de la IA de pesos abiertos

Z.ai, empresa china de inteligencia artificial, y Concordia AI presentaron un marco para abordar los riesgos de los modelos cuyos pesos pueden descargarse, modificarse y ejecutarse. The Next Web informó sobre el documento y citó un reporte de South China Morning Post, que indicó que ambas organizaciones publicaron el informe el lunes. Sus autores sostienen que la propuesta ofrece una base integral y basada en evidencia para navegar la tensión entre apertura y seguridad.

Una publicación difícil de revertir

El punto de partida del informe es que los modelos de pesos abiertos plantean problemas distintos a los de sistemas cuyo acceso permanece bajo control de sus desarrolladores. Una vez que los parámetros entrenados se distribuyen, otras personas pueden descargarlos, adaptarlos y ejecutarlos sin que la organización que los creó conserve necesariamente una vía para recuperar esas copias o controlar cada uso posterior.

El documento identifica tres desafíos principales: la publicación resulta difícil o imposible de revertir, el ajuste fino puede eliminar salvaguardas y los desarrolladores dejan de poder supervisar cómo se utiliza el modelo después de liberar sus pesos. El informe advierte que las protecciones aprendidas durante el entrenamiento no garantizan resistencia frente a cambios posteriores, una limitación que complica confiar únicamente en los controles incorporados al sistema original.

En particular, el texto señala que el entrenamiento de seguridad puede deshacerse con un número pequeño de ejemplos dañinos durante un nuevo ajuste. Esa advertencia no significa que cualquier modificación produzca automáticamente un modelo peligroso, sino que las salvaguardas pueden perder eficacia cuando terceros intervienen el sistema con datos distintos a los empleados por sus creadores.

Por esa razón, la propuesta pone énfasis en medidas que puedan adoptarse antes de divulgar los pesos y en protecciones que conserven utilidad después de la publicación. Entre las opciones mencionadas están seleccionar cuidadosamente los datos de entrenamiento desde las primeras fases y evitar que la decisión se reduzca a una elección binaria entre mantener un modelo cerrado o abrirlo por completo de una sola vez.

Seis etapas para decidir cómo actuar

La primera etapa consiste en identificar riesgos relacionados tanto con el uso malicioso como con los accidentes. En lugar de limitarse a una lista abstracta de posibles daños, el marco propone considerar qué situaciones podrían aparecer en relación con el modelo y qué clase de perjuicios tendrían que anticipar quienes participan en su desarrollo y gestión.

La segunda etapa establece umbrales para definir qué niveles de riesgo se consideran inaceptables. El informe organiza esa evaluación en cuatro dimensiones: el entorno donde funcionaría el modelo, quién podría utilizarlo de manera indebida, qué capacidades podría facilitar y qué capacidad tendría la sociedad para absorber el daño resultante.

La tercera etapa analiza los riesgos en distintos momentos del ciclo de vida: antes del desarrollo, antes del despliegue y después de que el sistema entra en operación. Así, la evaluación no queda limitada a una revisión inicial, sino que contempla la posibilidad de volver sobre los riesgos cuando cambian las condiciones de uso o el modelo comienza a circular.

La cuarta etapa clasifica los modelos en zonas verde, amarilla y roja, que orientan la decisión sobre su distribución. El esquema vincula la zona verde con la publicación total, la amarilla con una publicación restringida o por etapas y la roja con la suspensión; la quinta etapa reúne medidas de mitigación durante todo el ciclo de vida, mientras la sexta asigna importancia a la supervisión y la rendición de cuentas.

La publicación gradual como alternativa

La posibilidad de avanzar por etapas es una de las respuestas prácticas que el informe ofrece al dilema entre apertura y control. En vez de liberar de inmediato todos los pesos o mantenerlos siempre bajo acceso restringido, una organización podría ampliar el acceso conforme obtiene información sobre los riesgos y completa evaluaciones de seguridad.

El documento presenta GLM-5.3 de Z.ai como ejemplo de ese enfoque. Según el informe, el modelo pasó por pruebas de socios de seguridad antes de que se publicaran sus pesos completos. Por separado, diarioti.com reportó que Z.ai aplazó la publicación de los pesos de GLM-5.3 para realizar una revisión de seguridad. La cobertura también señaló que la compañía atribuyó las mejoras del modelo al posentrenamiento y dijo que habían aumentado sus capacidades para reproducir vulnerabilidades y construir exploits.

Ese proceso no elimina el problema de la supervisión una vez distribuidos los pesos, ni demuestra por sí solo que todos los riesgos puedan anticiparse. Su relevancia está en mostrar que la secuencia de publicación puede convertirse en una decisión de gestión, en lugar de tratar la apertura como una característica que se activa de una sola vez y sin etapas intermedias.

El marco también considera la curación de los datos de entrenamiento una intervención temprana. La propuesta apunta a que la gestión de riesgos comience antes de que exista una versión lista para circular, porque las decisiones sobre los datos y las evaluaciones realizadas durante el desarrollo pueden influir en las salvaguardas disponibles al momento de desplegar o publicar el sistema.

Una propuesta dentro de un debate más amplio

El nuevo documento se relaciona con el Marco de Gestión de Riesgos de IA Fronteriza 2.0. Concordia AI indica que este último fue elaborado junto con Shanghai Artificial Intelligence Laboratory y que su versión original se publicó en julio de 2025. La propuesta presentada junto con Z.ai pone el foco específico en los desafíos asociados con la disponibilidad pública de los pesos.

El marco ofrece una ruta de evaluación y gobernanza, pero no resuelve por sí solo qué niveles de riesgo deben considerarse aceptables ni cómo aplicará cada organización sus recomendaciones. La publicación gradual puede abrir espacio para evaluaciones adicionales, aunque la distribución de los pesos limita el control que los desarrolladores conservan sobre sus usos posteriores.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados