Por Angel Di Matteo   𝕏 @shadowargel

OpenAI reconoce que los ataques por inyección de prompts representan un riesgo estructural para los agentes de inteligencia artificial que operan en la web abierta, incluso mientras refuerza la seguridad de su navegador Atlas mediante pruebas automatizadas y aprendizaje por refuerzo.

***

  • OpenAI admite que la inyección de prompts no puede erradicarse por completo.
  • Atlas amplía la superficie de ataque al operar en modo agente.
  • La empresa utiliza un atacante automatizado entrenado con aprendizaje por refuerzo.

 

Incluso mientras OpenAI refuerza la seguridad de su navegador ChatGPT Atlas, la compañía reconoce que “los ataques por inyección de prompts” seguirán siendo un problema persistente para los agentes de inteligencia artificial que operan en la web abierta. En una publicación reciente en su blog corporativo, la empresa afirmó que este tipo de amenazas no tiene una solución definitiva.

OpenAI comparó la inyección de prompts con fenómenos como las estafas o la ingeniería social en internet. Según la compañía, se trata de riesgos estructurales que pueden mitigarse, pero no eliminarse por completo. En ese contexto, reconoció que el modo agente de Atlas amplía de forma significativa la superficie de ataque.

El navegador ChatGPT Atlas fue lanzado en octubre y rápidamente atrajo la atención de investigadores de seguridad. Ese mismo día, varios analistas publicaron demostraciones que mostraban cómo simples fragmentos de texto podían alterar el comportamiento del navegador subyacente sin que el usuario lo notara.

Un problema compartido por toda la industria

OpenAI no es la única organización que ha reconocido la persistencia de este riesgo. A inicios de mes, el Centro Nacional de Seguridad Cibernética del Reino Unido advirtió que los ataques por inyección de prompts contra aplicaciones de IA generativa podrían no mitigarse nunca de forma total.

La agencia gubernamental británica recomendó a los profesionales de ciberseguridad enfocarse en reducir el impacto y la probabilidad de estos ataques, en lugar de asumir que pueden ser completamente detenidos. Según la entidad, estos vectores de ataque podrían derivar en filtraciones de datos y accesos no autorizados.

Empresas como Anthropic y Google han expresado posturas similares. En el caso de esta última, sus esfuerzos recientes se centran en controles a nivel arquitectónico y de políticas internas para sistemas agenticos, según explicaron fuentes citadas por medios especializados.

La estrategia de OpenAI frente a un desafío persistente

OpenAI afirmó que considera la inyección de prompts como un desafío de seguridad de largo plazo. Para enfrentarlo, la empresa está apostando por ciclos de respuesta rápida y pruebas proactivas que permitan identificar nuevas estrategias de ataque antes de que aparezcan en escenarios reales.

Según la compañía, este enfoque ya está mostrando resultados iniciales positivos. La idea central es descubrir vulnerabilidades internamente antes de que sean explotadas en el entorno abierto, donde el impacto podría ser mayor y más difícil de contener.

Esta metodología no es nueva dentro del ámbito de la seguridad en inteligencia artificial. Se trata de una práctica común en pruebas de seguridad, donde agentes automatizados son diseñados específicamente para identificar fallos y casos límite mediante simulaciones intensivas.

Un atacante automatizado entrenado como hacker

Uno de los elementos diferenciadores del enfoque de OpenAI es el uso de un atacante automatizado basado en modelos de lenguaje. Este sistema fue entrenado mediante aprendizaje por refuerzo para asumir el rol de un atacante que busca introducir instrucciones maliciosas en agentes de IA.

El bot puede ensayar ataques dentro de simulaciones controladas antes de ejecutarlos en escenarios reales. Durante ese proceso, el sistema analiza cómo razona el agente objetivo y qué acciones ejecutaría al enfrentar el ataque, lo que le permite ajustar y perfeccionar sus estrategias.

OpenAI explicó que este nivel de visibilidad sobre el razonamiento interno del agente es algo a lo que los atacantes externos no tienen acceso. En teoría, esto permitiría a la empresa detectar fallos de seguridad de manera más rápida que actores maliciosos en el mundo real.

Según OpenAI, el atacante automatizado logró identificar estrategias de ataque que no surgieron durante campañas de red teaming humano ni en reportes externos previos, lo que refuerza el valor del enfoque.

Riesgos reales y recomendaciones para los usuarios

En una demostración compartida por la empresa, el atacante automatizado logró insertar un correo electrónico malicioso en la bandeja de entrada de un usuario. Cuando el agente de IA escaneó los mensajes, siguió instrucciones ocultas y envió un correo de renuncia en lugar de redactar una respuesta automática de ausencia.

Tras las actualizaciones de seguridad, OpenAI afirma que el modo agente logró detectar el intento de inyección y alertar al usuario antes de ejecutar la acción. Sin embargo, la compañía no confirmó si estas mejoras ya han reducido de forma medible los ataques exitosos.

Como medidas para mitigar riesgos, OpenAI recomienda limitar el acceso de los agentes a información sensible y exigir confirmaciones explícitas antes de realizar acciones como enviar mensajes o efectuar pagos. También aconseja proporcionar instrucciones específicas en lugar de otorgar acceso amplio con mandatos vagos.

Autonomía, acceso y escepticismo

Rami McCarthy, investigador principal de seguridad en la firma Wiz, señaló que el aprendizaje por refuerzo es una herramienta útil para adaptarse al comportamiento de los atacantes, pero no representa una solución completa. En declaraciones recogidas por TechCrunch, explicó que el riesgo en sistemas de IA puede entenderse como la multiplicación entre autonomía y acceso.

Según McCarthy, los navegadores con agentes se ubican en una zona compleja, combinando autonomía moderada con acceso muy amplio a datos sensibles. Esto eleva el riesgo, incluso cuando se aplican salvaguardas técnicas.

El experto también expresó dudas sobre el valor actual de estos navegadores para usos cotidianos. A su juicio, los beneficios aún no justifican plenamente el perfil de riesgo que implica otorgar acceso a correos electrónicos y sistemas de pago, aunque reconoció que ese equilibrio podría cambiar con el tiempo.

Artículo escrito con ayuda de un redactor de contenido de IA, editado por Angel Di Matteo / DiarioBitcoin

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados