Por Canuto  

Anthropic presentó un marco de políticas que pide al gobierno de EE. UU. capacidad legal para bloquear o disuadir el despliegue de modelos de IA con riesgo catastrófico. La propuesta apunta a sistemas de frontera entrenados a gran escala y plantea nuevas exigencias de transparencia, evaluaciones externas, seguridad reforzada y sanciones proporcionales a los ingresos de las empresas.
***

  • Anthropic propone que el gobierno pueda bloquear o disuadir el despliegue de modelos de IA con riesgo significativo de daño catastrófico.
  • El marco se aplicaría solo a modelos entrenados con más de 10²⁵ FLOPs y a empresas con más de USD $500 millones en ingresos por IA o más de USD $1.000 millones en I+D de IA.
  • La firma identifica cuatro áreas críticas de riesgo: biología, ciberseguridad, pérdida de control e investigación y desarrollo automatizados.

 

Anthropic presentó una propuesta de política pública para regular los modelos de inteligencia artificial más avanzados, con un planteamiento central que eleva el tono del debate en Washington. La empresa sostiene que, cuando un modelo implique un riesgo significativo de daño catastrófico, el gobierno debería contar con autoridad legal para bloquear o disuadir su despliegue.

La propuesta, presentada en el blog oficial de la compañía, parte de una premisa simple: las capacidades de la IA están mejorando con rapidez y esa aceleración también incrementa los riesgos. Según la compañía, hace pocos años los modelos apenas podían escribir código, pero ahora sistemas más potentes ya son capaces de descubrir vulnerabilidades críticas de software a gran escala.

En ese punto, Anthropic cita como ejemplo que Claude Mythos Preview descubrió miles de vulnerabilidades de alta gravedad, incluyendo fallas en cada sistema operativo y navegador principal. A juicio de la empresa, la evidencia sugiere con fuerza que esta tendencia continuará en los próximos meses.

Para lectores menos familiarizados con el tema, el debate sobre modelos de frontera se refiere a sistemas de IA entrenados con cantidades extremas de cómputo y recursos, capaces de realizar tareas científicas, técnicas y de automatización con un nivel cada vez mayor de autonomía. Ese avance ha abierto oportunidades económicas, pero también escenarios de riesgo que antes parecían lejanos.

La pieza central del documento es que la transparencia, por sí sola, ya no basta. Anthropic respalda normas recientes a nivel estatal que obligan a las empresas a describir sus prácticas de seguridad y a compartirlas públicamente, pero afirma que la velocidad actual del desarrollo exige un papel más sustantivo por parte de los gobiernos.

La propuesta fue pensada principalmente para el gobierno federal de Estados Unidos. Sin embargo, la empresa también señala que la acción no debería quedar congelada a la espera de Washington y rechaza que el Congreso anule leyes estatales, salvo que apruebe una norma federal al menos tan robusta como el marco planteado.

Qué empresas y modelos entrarían bajo estas reglas

Anthropic no propone una supervisión universal sobre toda la industria de IA. Su idea es acotar el alcance a modelos entrenados con más de 10²⁵ operaciones de punto flotante, o FLOPs, una medida usada para dimensionar la intensidad computacional del entrenamiento.

Además, el marco aplicaría únicamente a compañías que superen ciertos umbrales económicos. En concreto, se dirigiría a empresas que obtengan más de USD $500 millones en ingresos relacionados con IA o que gasten más de USD $1.000 millones en investigación y desarrollo de IA.

Con este enfoque, la compañía busca evitar que el peso regulatorio recaiga sobre actores pequeños o proyectos con menor capacidad de cómputo. La lógica es concentrar las obligaciones más duras en desarrolladores de frontera, es decir, quienes construyen los sistemas con mayor potencial de impacto económico y también de daño severo.

El marco también sugiere sanciones civiles vinculadas a los ingresos anuales globales de las empresas y que estas penalidades aumenten en caso de violaciones repetidas. Ese detalle es importante porque apunta a castigos que escalen con el tamaño del actor regulado y no a montos fijos fácilmente absorbibles por grandes tecnológicas.

Los cuatro riesgos catastróficos que identifica Anthropic

La empresa agrupa sus preocupaciones en cuatro categorías. La primera es el riesgo biológico. Según explica, sistemas de IA liberados sin salvaguardas podrían hacer sustancialmente más fácil el desarrollo de armas biológicas.

Anthropic advierte que las mismas capacidades que pueden acelerar el descubrimiento de medicamentos también podrían abaratar y simplificar para atacantes el diseño de virus peligrosos. Esa dualidad entre uso beneficioso y uso malicioso aparece como una de las tensiones centrales del documento.

La segunda categoría es el riesgo cibernético. La firma señala que los modelos de frontera ya pueden encontrar vulnerabilidades críticas de software a gran escala. Aunque esa capacidad puede servir para defender sistemas y corregir fallas, también eleva el riesgo para infraestructuras esenciales como hospitales y redes eléctricas.

La tercera amenaza es la pérdida de control. Aquí el argumento es que, a medida que los sistemas se vuelvan más competentes, podría resultar mucho más difícil mantenerlos dentro de los límites establecidos por sus propios desarrolladores.

La cuarta categoría es la investigación y desarrollo automatizados. Anthropic sostiene que los sistemas de IA ya están automatizando parte de la propia investigación sobre IA, algo que podría amplificar todavía más los tres riesgos previos al acelerar el ciclo de mejora de capacidades.

Este último punto tiene un peso especial dentro del debate actual. Si una IA acelera la construcción de sistemas aún más potentes, entonces la ventana de reacción para reguladores, evaluadores y desarrolladores podría reducirse de forma significativa.

Transparencia, evaluaciones externas y seguridad reforzada

En la sección de obligaciones, Anthropic plantea que los desarrolladores de frontera deberían probar sus modelos y publicar un resumen de resultados. También tendrían que difundir un marco de seguridad que explique cómo evalúan riesgos catastróficos y publicar tarjetas de sistema con capacidades y riesgos del modelo.

La propuesta va más allá de leyes estatales ya vigentes en California y Nueva York. Además de la divulgación pública de ciertas prácticas, Anthropic pide informes de riesgo regulares que describan la postura general de riesgo de la empresa y un compromiso frecuente con evaluadores independientes.

Sobre esa base, el documento indica que los desarrolladores deberían contratar al menos un evaluador independiente calificado para revisar y publicar una evaluación de sus pruebas e informes de riesgo. En paralelo, gobiernos e industria tendrían que construir un ecosistema de evaluadores con estándares, financiamiento y acceso suficiente a modelos de frontera.

La seguridad técnica es otro eje central. Anthropic destaca que los pesos del modelo y la infraestructura de entrenamiento son objetivos de alto valor para ciberatacantes, incluidos actores estatales bien financiados. Por ello, plantea que las empresas aseguren todo su entorno de desarrollo y se protejan frente a amenazas externas e internas.

Además, las compañías tendrían que describir públicamente su programa de seguridad a alto nivel, compartir detalles con una agencia designada cuando esta lo solicite, establecer canales para reportar ataques de destilación de modelos y probar sus defensas con regularidad.

En otras palabras, la firma propone una cadena de controles que combine rendición de cuentas pública, auditoría externa y capacidad estatal de intervención. El punto más delicado de ese esquema es la llamada autoridad regulatoria con dientes.

El poder de bloquear despliegues y las salvaguardas contra abusos

Anthropic sostiene que el gobierno debería poder bloquear o disuadir el despliegue de modelos que presenten riesgo significativo de daño catastrófico. La empresa reconoce, sin embargo, que una facultad así podría convertirse en una herramienta excesiva o draconiana si no se diseña con límites claros.

Por eso, el marco propone no solo un mecanismo para frenar despliegues peligrosos, sino también salvaguardas concretas para evitar el uso indebido de ese poder. La idea, según el documento, es que los responsables de política pública puedan comenzar con un enfoque de menor intervención y ajustarlo conforme avancen las capacidades de los modelos y madure el ecosistema de evaluación.

Esta parte del texto revela el equilibrio político que intenta construir Anthropic. Por un lado, pide una expansión de la capacidad del Estado frente a riesgos extraordinarios. Por otro, intenta dejar claro que no busca una regulación abierta que sofoque la innovación o permita decisiones arbitrarias.

La empresa también dedica espacio al debate sobre la preemption federal. Afirma que esta herramienta es poderosa y que, por tanto, debería usarse de manera quirúrgica, permitiendo a los estados seguir regulando cuestiones como seguridad infantil o protección al consumidor fuera del núcleo específico de seguridad cubierto por una ley federal.

La agenda de resiliencia más allá de las empresas de IA

En la segunda mitad de su marco, Anthropic pasa de la regulación corporativa a la resiliencia social. En biología, recomienda medidas de prevención como la detección de síntesis génica, herramientas de detección temprana para brotes novedosos y preparación mediante acopio de equipos de protección y mecanismos para suprimir la transmisión aérea.

En ciberseguridad, propone endurecer el software que sostiene Internet, desplegar soporte técnico para operadores de infraestructura crítica y reemplazar sistemas heredados en sectores esenciales. También sugiere crear dentro del gobierno una función dedicada a rastrear capacidades cibernéticas de frontera.

El documento añade que gobiernos e industria deberían co-desarrollar salvaguardas para los modelos, de modo que ciertas capacidades cibernéticas puedan compartirse de manera amplia sin aumentar de forma desproporcionada el riesgo ofensivo. Ese matiz refleja una tensión constante: cómo expandir usos defensivos sin facilitar abusos.

Anthropic admite que la agenda de resiliencia para pérdida de control e I+D automatizada está menos desarrollada. La compañía dice que investiga activamente esa área, pero reconoce que aún hace falta mucho más trabajo en el campo.

Entre las direcciones que considera prometedoras menciona el desarrollo de capacidades para detectar y responder a sistemas de IA que actúen fuera del control de sus desarrolladores, así como infraestructura capaz de contenerlos o apagarlos. Es una admisión relevante, porque muestra que incluso los actores líderes del sector no tienen resueltas todas las respuestas técnicas.

Según la propuesta de Anthropic, la conversación apenas empieza y la empresa espera un debate vigoroso sobre sus recomendaciones. Aun así, insiste en que los responsables de políticas públicas deben involucrarse de inmediato, porque las capacidades de la IA seguirán mejorando con rapidez y la gobernanza, a su juicio, necesita ponerse al día.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados