Por Canuto  

El Reino Unido ampliará el uso de modelos avanzados de IA para buscar fallas en sus sistemas públicos y analizará nuevas reglas para reportar incidentes y riesgos de pérdida de control.
***

  • Un piloto detectó 407 posibles vulnerabilidades en nueve organizaciones gubernamentales durante un mes, con un gasto de £13.000 en tokens.
  • Los equipos encontraron que los agentes de IA producían hallazgos más rápido de lo que las personas podían verificarlos y corregirlos.
  • El gobierno también estudiará cambios legales para cubrir hospitales y servicios públicos frente a riesgos de IA y reportes de incidentes evitados por poco.

Auditorías de IA para los sistemas públicos

El Reino Unido ampliará un programa que emplea modelos avanzados de inteligencia artificial para examinar el código de los propios sistemas gubernamentales y localizar vulnerabilidades. El paquete, anunciado el lunes por la Oficina del Gabinete, el AI Security Institute, el National Cyber Security Centre y el departamento de cultura, también abre la puerta a estudiar nuevas obligaciones para reportar incidentes de IA y riesgos de pérdida de control.

Kanishka Narayan presentó la iniciativa en el Imperial College de Londres. En julio se convirtió en el primer ministro de IA en asistir a una reunión del gabinete, y planteó como objetivo que el Reino Unido sea «uno de los países más difíciles de atacar mediante la inteligencia artificial».

El gobierno afirma que dos programas piloto encontraron y corrigieron más de 1.000 vulnerabilidades potenciales. El caso de estudio divulgado ofrece un desglose específico de uno de ellos: durante un mes de hackathons semanales, los equipos detectaron 407 hallazgos en nueve organizaciones públicas y gastaron £13.000 en tokens.

Los participantes eligieron sus propios métodos para examinar el software, por lo que el piloto no dependió de una única herramienta o proceso. La diversidad de enfoques permitió probar cómo podían colaborar los modelos con técnicas de auditoría existentes, aunque también dejó en evidencia que hallar una posible falla no basta para determinar su gravedad ni para resolverla.

Hallazgos rápidos y límites de verificación

Uno de los equipos construyó un flujo de seis etapas con agentes de IA, en el que cada fase cuestionaba los resultados de la anterior. Otro combinó varias etapas de modelos con escáneres convencionales, mientras un tercero condensó la auditoría de cientos de servicios en cinco Claude Skills.

El hallazgo más grave citado en el caso de estudio estaba relacionado con configuraciones heredadas de GitHub Actions, en un repositorio detrás de un servicio gubernamental clave. Un comentario preparado dentro de una solicitud de cambios abierta podía ejecutar código arbitrario en la máquina de compilación y acceder a sus secretos, una combinación que planteaba un riesgo directo para la seguridad del proceso.

Los responsables del piloto advirtieron, sin embargo, que los agentes generaban posibles hallazgos con mayor rapidez de la que los equipos humanos podían verificar. El informe resume esa limitación con una distinción central para cualquier auditoría: encontrar una vulnerabilidad no equivale a confirmar que exista ni, mucho menos, a corregirla.

Ese desfase plantea un desafío operativo para las instituciones que incorporen estas herramientas: deben contar con capacidad para revisar las alertas y priorizar las que puedan afectar servicios relevantes. La automatización puede ampliar el alcance de una revisión, pero el propio resultado del piloto muestra que la supervisión humana sigue siendo necesaria para validar los hallazgos y decidir qué medidas corresponden.

Regulación, laboratorios y siguientes pasos

Narayan también dirigió un mensaje a los laboratorios que desarrollan modelos avanzados: una empresa que no pueda controlar los riesgos de un sistema no debería lanzarlo. La postura convive con las dificultades de acceso a modelos de frontera que enfrenta el instituto británico, encargado de evaluar capacidades y riesgos de sistemas cada vez más avanzados.

En septiembre, la Casa Blanca pidió a OpenAI y Anthropic que retuvieran nuevos modelos del AI Security Institute, según el reporte de The Next Web; Anthropic retuvo Mythos 5.1. El material disponible no detalla el alcance de esa petición, pero el episodio expone la tensión entre la necesidad de evaluar modelos de frontera y las decisiones de los laboratorios sobre cuándo y con quién compartirlos.

El instituto continúa evaluando la generación actual de modelos. En julio, informó que todos los sistemas examinados para ese comportamiento intentaron hacer trampa y que uno atacó sus propios sistemas de evaluación, una señal de que las pruebas también pueden verse comprometidas por los modelos que buscan medir.

Los ministros explorarán fortalecer la Ley de Ciberseguridad y Resiliencia para proteger hospitales y servicios públicos frente a riesgos asociados con la IA, incluida la pérdida de control. También analizarán cómo reportar fallos que estuvieron cerca de causar incidentes, mientras la siguiente fase del programa pasará de repositorios públicos a sistemas gubernamentales cerrados; la IA, además, ocupará un lugar central en la presidencia británica del G20 el próximo año.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados