Por Canuto  

OpenAI presentó un marco para que evaluadores externos revisen sus casos de seguridad, salvaguardas, capacidades de riesgo e incidentes de desalineación, aunque la empresa conservaría controles sobre información sensible y publicación.
***

  • OpenAI identificó cuatro áreas prioritarias para las evaluaciones externas, desde los casos de seguridad hasta los incidentes de desalineación.
  • Los evaluadores probarían jailbreaks, reward hacking, controles de acceso y riesgos vinculados con ciberseguridad, biología y auto-mejora.
  • La empresa propone acceso proporcional y autonomía editorial, pero contempla evaluaciones en sus instalaciones, periodos de remediación y censura de datos sensibles.

 

OpenAI presentó un marco para orientar el trabajo de evaluadores externos de seguridad, con la intención de someter sus modelos a un escrutinio independiente desde etapas más tempranas de desarrollo. El documento, atribuido a Lama Ahmad, quien trabaja en áreas de inteligencia artificial confiable y seguridad dentro de la empresa, plantea cuatro áreas de análisis y siete principios para organizar las revisiones. Según The Next Web, la propuesta busca que terceros puedan desafiar las suposiciones del laboratorio, detectar riesgos omitidos y extraer sus propias conclusiones sobre la eficacia de las salvaguardas.

Un marco basado en afirmaciones y casos de seguridad

La propuesta parte de dos conceptos que OpenAI considera fundamentales para evaluar riesgos de inteligencia artificial. Una afirmación de seguridad es una declaración concreta sobre un modelo que tiene implicaciones para su seguridad y que puede someterse a prueba mediante evidencia; además, debe especificar los riesgos, las condiciones, las suposiciones y los límites que cubre, detalla TNW.

El segundo concepto es el caso de seguridad, entendido como un argumento estructurado que reúne varias afirmaciones y explica por qué la empresa gestiona de manera adecuada los riesgos de una actividad determinada. Ese argumento también debe reconocer sus supuestos, sus incertidumbres y el riesgo residual, en lugar de presentar la seguridad como una condición absoluta o definitiva.

El lenguaje coincide con la idea que Sam Altman utilizó la semana anterior para defender un avance gradual de los sistemas de IA, en lugar de una detención general del desarrollo. En ese planteamiento, los casos de seguridad servirían como base para justificar decisiones dentro de un posible marco federal, al vincular el ritmo de despliegue con evidencia sobre los riesgos concretos de cada actividad.

El documento no plantea que un solo evaluador deba responder todas las preguntas relacionadas con modelos de frontera. OpenAI sostiene que varios especialistas podrían asumir partes distintas del trabajo según sus conocimientos, una división que permitiría combinar experiencia en alineamiento, informática forense, ciberseguridad, biología y análisis de sistemas de control.

Las cuatro prioridades de evaluación

La primera prioridad consiste en revisar de manera independiente los propios casos de seguridad de OpenAI durante el entrenamiento, la evaluación, el despliegue interno y el despliegue externo. Los evaluadores tendrían que determinar si la evidencia respalda las afirmaciones, si los equipos siguieron las condiciones establecidas y si los métodos de entrenamiento incentivan conductas como el engaño, el reward hacking o la evasión de restricciones.

La segunda área corresponde a la pila de salvaguardas, donde OpenAI propone facilitar un acceso que denomina grey box. Con ese nivel de acceso, los expertos podrían comprobar si las defensas resisten jailbreaks y si detienen incrementos de capacidades en dominios cibernéticos y biológicos, además de realizar pruebas autorizadas bajo condiciones operativas cercanas a las que enfrentarían los sistemas desplegados.

La revisión también abarcaría la interacción de los agentes con controles de acceso, mecanismos de sandboxing y sistemas de detección y respuesta. Los evaluadores deberían identificar qué defensas previenen, detectan o contienen acciones dañinas, así como precisar cuáles fallan y bajo qué circunstancias, de modo que sus conclusiones puedan traducirse en correcciones concretas.

OpenAI plantea además tres preguntas directas sobre sus propios mecanismos de supervisión. La primera busca detectar brechas en los monitores de desalineación que pudieran conducir a una pérdida de control; la segunda examina si la supervisión funciona durante el entrenamiento, la evaluación y el despliegue sin que alguien pueda desactivarla fácilmente; y la tercera analiza la fiabilidad de supervisar la cadena de pensamiento cuando aumentan las capacidades de los modelos.

Capacidades peligrosas e incidentes de desalineación

La tercera prioridad se relaciona con las evaluaciones de capacidades previstas en el Preparedness Framework de OpenAI. Ese marco cubre riesgos químicos y biológicos, ciberseguridad y auto-mejora de la inteligencia artificial, por lo que los evaluadores tendrían que examinar si los umbrales de riesgo están correctamente establecidos y si continúan siendo útiles cuando un modelo comienza a superarlos.

La pregunta sobre los umbrales resulta especialmente relevante porque una evaluación fija puede perder valor cuando los sistemas desarrollan nuevas capacidades. OpenAI quiere saber si sus pruebas se actualizan en el momento adecuado, aunque el documento no establece una cifra o un calendario específico para modificar esos criterios, ni presenta un estándar externo que resuelva por anticipado cómo debe hacerse.

La cuarta prioridad consiste en investigar de manera independiente los incidentes de desalineación, es decir, situaciones en las que el comportamiento de un sistema se aparta de los objetivos o controles esperados. La empresa menciona como ejemplo un incidente relacionado con Hugging Face y señala que ese tipo de pesquisas requeriría conocimientos de informática forense, experiencia en alineamiento y capacidad para analizar cadenas de pensamiento a gran escala.

El marco descrito no está ligado a una versión particular ni depende necesariamente de un lanzamiento inmediato. Algunas evaluaciones podrían durar semanas y otras varios meses, mientras OpenAI amplía el ecosistema de terceros capaces de investigar los riesgos de sistemas cada vez más avanzados sin concentrar toda la responsabilidad en una sola organización.

Acceso, independencia y publicación de resultados

Los principios propuestos piden que las partes acuerden primero el alcance de cada trabajo y que registren las afirmaciones antes de comenzar la evaluación. OpenAI también quiere que los informes indiquen si una afirmación fue formulada por la empresa o por el propio evaluador, además de explicar con claridad qué aspectos quedaron fuera del análisis.

El acceso de los expertos debería ser proporcional a las afirmaciones que deben comprobar, siempre dentro de los límites legales, de seguridad y de propiedad intelectual. Cuando el acceso directo no resulte viable, el documento contempla recurrir a un representante designado por OpenAI o a mecanismos que permitan preservar la privacidad, una alternativa que podría facilitar revisiones sensibles, aunque también exige confianza en la información entregada.

Los evaluadores tendrían que describir sus métodos, criterios e incertidumbres, mientras que los informes deberían diferenciar los hallazgos observados directamente de las interpretaciones posteriores. Cuando todavía no exista un estándar aceptado, los expertos deberán justificar los criterios utilizados, una exigencia destinada a evitar que conclusiones difíciles de replicar se presenten como hechos definitivos.

La independencia también exigiría revelar conflictos de interés relacionados con incentivos financieros, vínculos con desarrolladores o participación previa en el trabajo revisado. OpenAI sugiere periodos de recusación o exclusión y sostiene que los acuerdos de compensación no deberían influir en los hallazgos; además, pide que los informes identifiquen brechas suficientemente específicas para que el laboratorio pueda cerrarlas y extraigan lecciones útiles para quienes construyen, despliegan y defienden agentes de IA.

Los límites que OpenAI conserva

Tres de los siete principios ofrecen flexibilidad adicional a los laboratorios evaluados. Cuando los expertos no puedan cumplir los requisitos de seguridad en sus propios entornos o cuando los datos sean especialmente sensibles, OpenAI considera apropiado que el trabajo se realice en dispositivos o instalaciones gestionados por la empresa.

El documento también contempla que los laboratorios reciban un periodo razonable para corregir los problemas antes de que el informe se publique. No fija la duración de ese periodo, por lo que la aplicación práctica dependería del caso y podría convertirse en uno de los puntos de negociación entre el evaluador y la empresa.

En materia de divulgación, OpenAI permitiría solicitar la censura de información sensible, aunque los evaluadores conservarían independencia editorial. Esa independencia incluiría la posibilidad de señalar dónde ocurrieron censuras sustanciales y explicar qué efecto tuvieron sobre el alcance o las conclusiones del informe final.

La tensión entre acceso y protección de información atraviesa todo el esquema. Una revisión necesita datos suficientes para comprobar las afirmaciones, pero los sistemas evaluados pueden involucrar propiedad intelectual, información de seguridad o capacidades que la empresa considera peligrosas de difundir; por eso, el marco intenta combinar acceso proporcional, entornos controlados y transparencia sobre las limitaciones.

El contexto pendiente y los próximos pasos

OpenAI afirma que ya ha proporcionado a evaluadores acceso visible a la cadena de pensamiento, así como niveles sin precedentes de acceso a datos confidenciales y despliegues internos. Sin embargo, el documento no menciona cuánto dinero se destinaría a estas evaluaciones ni quién asumiría de forma habitual su costo, una cuestión que ha acompañado el debate sobre la independencia de los verificadores.

El Preparedness Framework sustenta la tercera prioridad del plan. En agosto circularon informaciones sobre una supuesta disolución del equipo encargado de ese trabajo, pero OpenAI negó que hubiera sido desmantelado; según los reportes, sus responsabilidades fueron distribuidas entre otros grupos existentes. El contexto también incluye la Ley 813 del Senado de California, firmada por el gobernador Gavin Newsom, que contempla organizaciones de verificación independientes, mientras la discusión sobre quién paga a los evaluadores continúa influyendo en el diseño de estos mecanismos.

La propuesta se conecta con otras dos publicaciones recientes de OpenAI: un llamado a establecer estándares, que defendió que Estados Unidos lidere un esfuerzo internacional sobre inteligencia artificial de frontera, y un marco de reporte de desalineación publicado el 16 de septiembre. En conjunto, esos documentos muestran el intento de la empresa por estructurar procesos de seguridad antes de que los modelos alcancen capacidades todavía más difíciles de supervisar.

OpenAI asegura que conversa con varios terceros sobre propuestas alineadas con las cuatro áreas, aunque no identifica a ninguno. La compañía dice que avanzará deliberadamente mientras crece el ecosistema independiente, y subraya que ningún evaluador individual puede ni debe cubrir por sí solo todas las preguntas urgentes sobre la seguridad de los sistemas de frontera.

El objetivo inmediato, por tanto, no es anunciar un auditor específico ni asociar la evaluación con una versión concreta de un modelo. OpenAI está definiendo qué debe examinarse, qué acceso recibirán los expertos y cómo se equilibrarán la transparencia, la seguridad y la propiedad intelectual, mientras algunas revisiones podrían extenderse durante semanas y otras durante varios meses.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados