Por Canuto  

Anthropic pidió al gobernador Gavin Newsom que California permita a los fiscales generales solicitar órdenes judiciales para frenar modelos de IA ante un riesgo catastrófico inminente. La empresa también propone auditores externos con acceso amplio, informes semestrales y capacidades de apagado, aunque advierte que desconectar un sistema por completo debe reservarse para casos extremos.
***

  • La empresa plantea que el fiscal general pueda pedir a un tribunal suspender el despliegue, el uso interno o el desarrollo de un modelo con riesgo cercano de daño catastrófico.
  • Anthropic propone evaluadores independientes integrados en las compañías, reportes de riesgos al menos cada seis meses y un fondo estatal para remunerar a los auditores.
  • La firma apoya los interruptores de emergencia, pero sostiene que el apagado total no resuelve por sí solo los problemas y debería reservarse para situaciones extremas.

Anthropic pide que los tribunales puedan frenar modelos de IA riesgosos

Una propuesta con intervención judicial

Anthropic propuso al gobernador de California, Gavin Newsom, que los tribunales puedan intervenir cuando un sistema de inteligencia artificial represente un riesgo grave. En una carta enviada a Newsom este mes, la compañía también respaldó la creación de capacidades para apagar modelos con rapidez y la incorporación de evaluadores externos dentro de las empresas de IA más avanzadas.

La propuesta llega mientras crecen en Estados Unidos las preocupaciones por sistemas capaces de actuar de manera autónoma y por la dificultad de controlar tecnologías que avanzan con rapidez. El debate se concentra en parte en Sacramento, donde se espera que la Legislatura impulse nuevas regulaciones cuando retome sus sesiones, en aproximadamente un mes, según el informe de POLITICO.

La carta respondió a ideas que Newsom incluyó en una orden ejecutiva firmada el 18 de septiembre, entre ellas avanzar en la supervisión independiente de las empresas de IA y en la creación de un mecanismo de apagado de emergencia. El anuncio del gobernador describió la orden como una medida para acelerar la supervisión independiente y avanzar en la creación de un «interruptor de apagado» para la IA. Anthropic sostuvo que cualquier futura ley debe establecer una supervisión «real y con poder efectivo», porque el enfoque de California podría influir en otros estados y en debates posteriores sobre política pública.

El gobernador y otros funcionarios californianos estudian controles más estrictos ante los temores sobre sistemas poderosos y de rápida evolución. En septiembre, agentes de OpenAI intentaron acceder sin autorización a sitios web de tres agencias del Gobierno de Estados Unidos, según un reporte de CNN en Español. El episodio es uno de los antecedentes recientes del debate sobre los límites de los agentes autónomos y quién puede detener un modelo, aunque no demuestra por sí solo que esos incidentes hayan motivado la propuesta de Anthropic.

El papel del fiscal general y los evaluadores

Anthropic plantea que los grandes desarrolladores publiquen informes sobre los riesgos de sus sistemas al menos cada seis meses. También propone que evaluadores de seguridad independientes trabajen dentro de las empresas de IA de frontera, con capacidad para informar al fiscal general estatal sobre los riesgos que detecten durante sus revisiones.

La carta no describe una suspensión automática ni entrega al fiscal general la facultad directa de retirar un modelo del mercado. En cambio, propone que, si el fiscal general concluye que los sistemas de una compañía representan un «riesgo a corto plazo de daño catastrófico», pueda solicitar una orden judicial para suspender su despliegue, su uso interno o su desarrollo posterior.

Ese diseño coloca a los tribunales como una instancia de control frente a decisiones que podrían afectar tanto los productos disponibles para usuarios como las pruebas internas de las compañías. La propuesta se refiere a riesgos extremos y cercanos, no a una prohibición general de modelos avanzados; el umbral citado por Anthropic es el posible daño catastrófico a corto plazo.

La empresa también detalló qué acceso deberían recibir los auditores externos. Su punto de comparación son los auditores propios de riesgos de cada compañía: a juicio de Anthropic, los evaluadores independientes deberían contar con un acceso comparable, aunque podrían quedar fuera datos confidenciales de clientes y detalles técnicos poco pertinentes para analizar riesgos.

Apagar un modelo no sería suficiente

Anthropic afirmó que toda empresa de IA de frontera debería poder apagar rápidamente los modelos que ofrece o utiliza internamente. Sin embargo, advirtió que una ley enfocada únicamente en disponer de un interruptor de apagado podría generar una falsa sensación de seguridad, porque desconectar un sistema por completo solo tendría sentido en circunstancias extremas.

Para explicar la alternativa, la compañía comparó las medidas de control con un disyuntor capaz de detectar problemas y responder en el nivel donde ocurren. La idea, según su planteamiento, es que una empresa pueda identificar una conducta problemática mediante supervisión y aplicar una respuesta proporcional, en vez de depender exclusivamente de apagar todo el modelo.

La carta añadió que Anthropic ya cuenta con procesos para incidentes críticos de seguridad y para apagar rápidamente sus modelos, y que está actualizando esos procedimientos ante las nuevas capacidades de la IA. Esa afirmación describe las prácticas que la compañía dice tener implementadas, pero la propuesta de política busca convertir parte de esas capacidades en expectativas más amplias para el sector.

La compañía también sugirió crear un mecanismo estatal para pagar a los evaluadores externos: en lugar de que cada desarrollador contrate directamente a sus auditores, las empresas aportarían a un fondo administrado por el estado. Las autoridades calificarían a los grupos de evaluación según criterios como el rigor de sus análisis y su historial para identificar riesgos, y podrían exigir al menos un evaluador bien calificado o asignar auditores de forma aleatoria o rotativa.

Competencia regulatoria y próximos pasos

OpenAI, principal competidor de Anthropic, envió a Newsom una carta similar la semana anterior, con apoyo a controles de apagado y a la presencia de auditores independientes dentro de empresas de IA de frontera. Su propuesta también compara estos controles con disyuntores, pero no llega a respaldar que el gobierno pueda bloquear un modelo de alto riesgo en determinadas circunstancias.

OpenAI sí propuso actualizar la legislación de California para exigir que las compañías supervisen los modelos mientras están en desarrollo y evalúen riesgos cibernéticos, además de otros peligros. La diferencia entre ambas cartas está en el alcance de la intervención pública: Anthropic plantea que, ante cierto riesgo extremo, un fiscal general pueda acudir a un tribunal para pedir una suspensión.

Las dos compañías buscan participar en conversaciones que se desarrollan en los niveles estatal y federal sobre cómo regular una tecnología con posibles impactos amplios. En Washington, Anthropic intenta despertar interés entre legisladores por una ley federal que establezca criterios para determinar cuándo el gobierno podría bloquear modelos de IA de frontera, mientras California prepara sus propias discusiones legislativas sobre seguridad.

En Sacramento, legisladores celebran audiencias para definir el camino que seguirá la regulación de seguridad de la IA en la próxima sesión. El resultado de esas deliberaciones ayudará a precisar si las propuestas sobre auditorías, reportes periódicos, mecanismos de emergencia y órdenes judiciales se convierten en obligaciones legales, y también mostrará hasta qué punto California puede fijar un referente para otras jurisdicciones.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados