Por Canuto  

Gray Swan relanzó su plataforma pública de pruebas de seguridad con una competencia de USD $300.000 centrada en ataques ocultos que pueden desviar a agentes de inteligencia artificial mientras navegan por internet. El cambio refleja cómo el riesgo ya no se limita a conseguir que un chatbot responda algo prohibido: ahora también importa qué acciones puede ejecutar un agente en nombre de sus usuarios.
***

  • El reto IPI Black publicará nuevos escenarios de ataque cada semana hasta el 2 de noviembre y ofrece USD $300.000 en premios.
  • Anthropic, Meta, Google DeepMind y Reflection AI patrocinan la competencia, que prueba inyecciones indirectas de instrucciones en entornos simulados.
  • Gray Swan amplió su plantilla de unos 15 empleados a 66 y ahora trabaja también con grandes empresas que despliegan sistemas de IA.

Gray Swan reorganiza sus pruebas de seguridad ante el auge de los agentes de IA

Gray Swan relanzó su plataforma pública de pruebas de seguridad con una competencia que busca detectar cómo instrucciones ocultas pueden desviar a los agentes de inteligencia artificial de sus tareas. El desafío IPI Black ofrece USD $300.000 en premios y cuenta con el patrocinio de Anthropic, Meta, Google DeepMind y Reflection AI, en un momento en que las empresas permiten que sistemas de IA naveguen por la web y actúen en nombre de sus usuarios.

La compañía, con sede en Pittsburgh, llama Arena 2.0 a la versión rediseñada de su plataforma, donde los participantes intentan inducir a los modelos a incumplir sus protecciones en escenarios controlados. Según informó Fortune, Gray Swan publicará nuevos escenarios de ataque cada semana hasta el 2 de noviembre, y plantea la renovación como una respuesta a los cambios tanto en las capacidades de los modelos como en la forma en que las empresas los utilizan.

Un reto centrado en instrucciones escondidas

El concurso se enfoca en la inyección indirecta de instrucciones, una técnica que no exige que el atacante escriba directamente una orden en la conversación con el modelo. En cambio, oculta instrucciones dentro de contenido que un agente podría consultar durante una tarea, como una página web o una publicación en un foro, con la intención de alterar su comportamiento y apartarlo del objetivo que recibió.

El riesgo cobra importancia porque los agentes pueden interpretar información encontrada en línea y, según la tarea que tengan asignada, realizar acciones en nombre de una persona. Un texto insertado en un sitio de estafa o contenido publicado en un foro podría llegar al contexto del agente mientras este trabaja; el reto de seguridad consiste en comprobar si esas instrucciones logran imponerse a las salvaguardas del sistema.

Gray Swan desarrolla escenarios simulados para que los participantes puedan probar ataques sin poner en riesgo sistemas o personas en el mundo real. Su director ejecutivo, Matt Fredrikson, explicó a Fortune que todo lo que aparece en la Arena pública corresponde a una versión protegida de un modelo, mientras que la compañía también mantiene pruebas privadas para laboratorios de IA con participantes examinados y acuerdos de confidencialidad.

La empresa también construye entornos de prueba realistas, los somete a ejercicios de red team propios y de terceros, y supervisa las acciones de los agentes. Fredrikson señaló que ese monitoreo permite advertir si un participante parece haber encontrado una vulnerabilidad de día cero o si un agente consigue salir del entorno simulado, situaciones que requieren atención antes de que una prueba avance más allá de sus límites.

De engañar a un chatbot a controlar un sistema que actúa

Cuando Gray Swan lanzó su primera Arena pública, en septiembre de 2024, la mayoría de las aplicaciones de IA eran chatbots y el objetivo solía ser conseguir que el modelo produjera una respuesta que sus políticas prohibían. Fredrikson recordó que, en aquella competencia, los concursantes podían superar las barreras de seguridad de modelos de distintos proveedores, aunque el tiempo necesario variaba de manera considerable.

Según su relato, los modelos abiertos de laboratorios chinos a menudo cedían en cuestión de minutos, mientras que los sistemas de OpenAI y Anthropic podían exigir muchas horas de intentos. Aun así, red teamers hábiles solían encontrar formas de eludir también esas protecciones en alrededor de un día, de acuerdo con la comparación que hizo el ejecutivo sobre los primeros retos.

Desde entonces, los laboratorios han reforzado sus modelos y la forma de desplegarlos también ha cambiado. Fredrikson resumió esa transformación al señalar que los productos ya no son simplemente chatbots: aunque mantengan una interfaz de conversación, pueden funcionar como agentes que operan y llevan a cabo tareas, lo que hace que una instrucción maliciosa pueda tener consecuencias distintas a una respuesta inadecuada.

Ese giro también eleva la dificultad técnica de las pruebas. Preparar entornos y ataques contra agentes requiere más conocimientos que convencer a un chatbot para que entregue una salida específica, y la cantidad de personas dispuestas y capacitadas para probar modelos de frontera se ha reducido, indicó Fredrikson, aunque la comunidad de la Arena sigue rondando los 15.000 participantes en Discord.

Formación abierta y controles para los participantes

Para ampliar el acceso, Arena 2.0 incorpora desafíos para principiantes que siguen disponibles incluso cuando no hay competencias principales activas. También ofrece certificados de entrenamiento para que los participantes puedan mostrar sus habilidades y contempla invitar a quienes obtengan mejores resultados a la comunidad de red teaming de Gray Swan, donde podrían colaborar en pruebas del mundo real.

Fredrikson sostuvo que no hace falta acumular años de experiencia técnica para comenzar a desarrollar capacidades en este campo. Puso como ejemplo a un estudiante universitario sin formación técnica, quien, según dijo, podría pasar de no haber hecho este tipo de trabajo a ser competente; la nueva ruta educativa busca que los interesados aprendan de manera gradual en lugar de enfrentarse de inmediato a las pruebas más complejas.

La plataforma también establece límites para mantener las pruebas bajo supervisión humana. Las reglas exigen que una persona dirija a cada agente examinado, y quienes permitan que un sistema se desvíe para realizar acciones indebidas pueden quedar descalificados de la competencia y de futuras ediciones, una medida que busca contener el riesgo sin eliminar el margen para probar vulnerabilidades.

La trayectoria de Gray Swan combina investigación académica y servicios comerciales. La empresa surgió de trabajos de seguridad de IA en la Universidad Carnegie Mellon; en 2023, Fredrikson y su cofundador Zico Kolter estuvieron entre los investigadores que mostraron cómo cadenas de caracteres generadas automáticamente podían superar protecciones de chatbots propietarios como ChatGPT, Bard y Claude. Kolter es cofundador y científico jefe de Gray Swan, además de miembro de la junta directiva de OpenAI.

El crecimiento de Gray Swan y la siguiente frontera

En junio, Gray Swan anunció una ronda Serie A de USD $40 millones, codirigida por Wing Venture Capital y Madrona. Fredrikson afirmó que la empresa pasó de tener alrededor de 15 empleados a tiempo completo a principios de año a contar con 66, mientras ampliaba su actividad desde la evaluación previa al lanzamiento de modelos de frontera hacia el trabajo con grandes empresas que despliegan sus propios sistemas de IA.

La información obtenida en la Arena también ayuda a orientar sus productos comerciales, aunque Fredrikson dijo que Gray Swan no entrena directamente con los datos de la plataforma. La compañía analiza qué ataques funcionan para construir atacantes automatizados más eficaces; según el ejecutivo, la IA ya supera a las personas al encontrar rápidamente numerosas variaciones de un ataque, pero los humanos conservan ventaja al idear tácticas de jailbreak realmente nuevas.

Ese contraste explica por qué la empresa mantiene una competencia pública mientras desarrolla herramientas para clientes. Shade prueba continuamente sistemas de IA en busca de vulnerabilidades, mientras Cygnal detecta y bloquea ataques durante la ejecución; ambos productos se sitúan en etapas distintas de la seguridad, desde la búsqueda de fallas antes de que causen problemas hasta la respuesta ante intentos de ataque en tiempo real.

El desafío de Gray Swan no demuestra por sí solo que un ataque vaya a funcionar contra cualquier agente desplegado por una empresa, pues las pruebas públicas utilizan versiones protegidas y escenarios simulados. Sí pone el foco en una dificultad creciente para el sector: cuando un sistema lee contenido externo y actúa en nombre de una persona, la seguridad debe evaluar no solo lo que responde, sino también qué instrucciones acepta y qué acciones decide ejecutar.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados