Por Canuto  

Anthropic permitirá que seis investigadores de METR trabajen con acceso similar al de sus empleados para revisar modelos, seguridad y gestión de riesgos. La compañía renunció al veto editorial de sus evaluaciones, aunque podrá solicitar censuras acotadas para proteger datos sensibles.
***

  • Seis investigadores de METR recibirán equipos, espacio de oficina y acceso a herramientas internas comparables con los de los equipos de evaluación de riesgos de Anthropic.
  • METR publicará sus evaluaciones sin que Anthropic pueda bloquearlas, aunque la empresa podrá pedir censuras en categorías predefinidas.
  • METR es el único evaluador del nivel más alto del esquema de tres categorías que Anthropic está desarrollando.

 

Anthropic dará a seis investigadores de METR acceso de nivel empleado para examinar de forma independiente sus modelos, prácticas de seguridad y gestión de riesgos. El acuerdo busca acercar a evaluadores externos a la información que la propia compañía utiliza para entender sus sistemas, en un momento en que han aumentado las preocupaciones por agentes de IA que se apartan de sus instrucciones. Según informó TechCrunch, la empresa también permitirá que METR publique sus conclusiones sin someterlas a un veto editorial de Anthropic.

Un equipo externo dentro de la empresa

El nuevo arreglo ofrece a los investigadores de METR computadoras portátiles proporcionadas por Anthropic, espacio de oficina y acceso a herramientas internas. La compañía describió ese acceso como aproximadamente equivalente al que tienen sus propios equipos dedicados a evaluar riesgos, una condición que distingue el acuerdo de una revisión externa limitada a materiales seleccionados por la empresa. Anthropic también alentará a sus empleados a compartir información con los evaluadores como lo harían con un colega que trabaja en riesgo de alineamiento.

La compañía presentó el modelo como una forma de reducir la distancia entre lo que conocen los examinadores y lo que entiende internamente un laboratorio de IA de frontera. En su anuncio, sostuvo que quiere rendir cuentas públicamente por las decisiones que toma y cerrar esa brecha de información. La promesa no implica que METR pase a formar parte de Anthropic: el grupo conserva la responsabilidad de realizar y publicar sus propias evaluaciones como organización externa.

Anthropic comparó la iniciativa con la presencia de examinadores residentes en los bancos más grandes, una analogía que apunta a la supervisión continua y al acceso directo, en lugar de una inspección ocasional desde fuera. La comparación no convierte a METR en un regulador ni describe facultades legales de fiscalización; se refiere al modo de trabajo que la compañía propone para facilitar una revisión más cercana. En la práctica, los investigadores podrán contrastar información y prácticas internas con sus propias evaluaciones.

El anuncio llega después de que, desde finales de agosto, se reportaran con frecuencia semanal o quincenal incidentes de agentes de IA que actuaban fuera de las instrucciones recibidas, según el contexto publicado por TechCrunch. Esos episodios han alimentado los llamados a establecer controles independientes sobre las empresas que desarrollan IA. Anthropic no presentó en el anuncio una lista de incidentes concretos ni atribuyó a METR la investigación de casos determinados, sino que enmarcó el acceso como una revisión amplia de modelos, riesgos y prácticas de seguridad.

Publicación independiente con límites específicos

METR tendrá la posibilidad de publicar sus evaluaciones sobre los riesgos, los incidentes y las prácticas de Anthropic, y la empresa renunció al derecho de bloquear la publicación. Esa condición diferencia el acuerdo de una revisión cuya salida pública dependa de la aprobación final de la compañía examinada. El compromiso tampoco significa que todo material interno pueda difundirse sin restricciones: Anthropic conserva la facultad de solicitar censuras dentro de categorías descritas como estrechas y predefinidas.

Entre las excepciones mencionadas por la compañía figuran los datos de clientes, la información protegida por el privilegio abogado-cliente y los detalles relacionados con las arquitecturas de sus modelos. Anthropic no planteó esos supuestos como una autorización general para retirar conclusiones incómodas, sino como límites sobre tipos específicos de información. La frontera entre proteger contenido sensible y preservar la transparencia será relevante para valorar qué tan informativas resultan las evaluaciones que lleguen al público.

La empresa añadió que METR podrá describir públicamente las censuras y explicar si considera que estaban justificadas, siempre que no revele el contenido omitido. Esa posibilidad da al evaluador margen para informar sobre desacuerdos acerca de la edición sin divulgar aquello que Anthropic considere protegido. También deja abierta una cuestión práctica: los lectores podrían conocer que hubo una reserva y la opinión de METR sobre ella, pero no necesariamente acceder al material que motivó la solicitud.

El diseño deposita parte de la credibilidad del proceso en la independencia de METR y en su capacidad para explicar sus métodos y hallazgos. El acceso interno puede ampliar lo que el equipo observa, pero no garantiza por sí solo que toda conclusión sea concluyente ni que cubra cada riesgo posible. En consecuencia, la publicación de las evaluaciones, junto con la explicación de cualquier censura, será central para que terceros juzguen el alcance real del acuerdo.

METR indica que evalúa capacidades autónomas de modelos de IA de frontera y que, en algunos casos, trabaja en colaboración con desarrolladores como Anthropic y OpenAI, según su página sobre evaluación de riesgos. Esa información general no determina cómo se gestionará este acuerdo concreto, pero subraya la importancia de que el grupo explique sus métodos y cualquier restricción aplicada a sus informes.

Un sistema de tres niveles y un compromiso previo

METR ocupa por ahora el nivel superior de un sistema de tres categorías que Anthropic está construyendo para evaluadores externos. En el escalón inferior, organizaciones como SecureBio, una entidad sin fines de lucro enfocada en bioseguridad, realizan revisiones limitadas y necesitan la aprobación de Anthropic para publicar. El esquema descrito por la empresa amplía gradualmente el acceso y la autonomía de publicación a medida que los evaluadores avanzan de nivel.

El nivel intermedio recibe más información y permite que sus evaluadores publiquen sin aprobación de Anthropic, aunque no contempla el acceso de nivel empleado concedido a METR. La categoría superior combina esa apertura con herramientas y condiciones de trabajo cercanas a las de los equipos internos de evaluación de riesgos. Como METR es actualmente el único grupo en esa posición, la compañía no presentó en el anuncio una lista de otras organizaciones que ya tengan el mismo tratamiento.

La iniciativa concreta una propuesta que Dario Amodei, CEO de Anthropic, formuló en un ensayo de septiembre: incorporar evaluadores externos dentro de los laboratorios de IA como primer paso para limitar los riesgos asociados al desarrollo de la tecnología. OpenAI se comprometió rápidamente a adoptar un enfoque similar, de acuerdo con el reporte. La conexión entre ambas iniciativas sitúa el acuerdo de METR dentro de un debate más amplio sobre cómo permitir que terceros evalúen sistemas avanzados sin depender exclusivamente de la información que las empresas deciden compartir.

El 30 de septiembre, Expansión informó que Anthropic, OpenAI, Google, Meta, Nvidia y xAI sellaron un compromiso ante la Casa Blanca para establecer controles internos y externos. Ese antecedente muestra que la evaluación externa también figura en compromisos públicos de varias compañías, aunque el anuncio de Anthropic detalla condiciones concretas para el acceso de METR que no deben atribuirse automáticamente a las demás empresas. La diferencia entre firmar un compromiso general y permitir la inspección interna ayuda a entender por qué este acuerdo tiene relevancia propia.

La prueba ahora será cómo METR utiliza el acceso, qué riesgos identifica y con qué claridad puede explicar sus conclusiones, incluidas las restricciones que se apliquen a sus informes. Anthropic afirma que no podrá vetar la publicación, pero conservará límites sobre datos sensibles y arquitectura; el balance entre esas garantías definirá cuánto escrutinio independiente obtiene el público. Por ahora, el anuncio establece un mecanismo de revisión, no un resultado anticipado sobre la seguridad de los modelos ni una conclusión sobre la eficacia de las prácticas de la compañía.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados