Por Canuto  

Cuatro investigaciones publicadas este mes expusieron fallas en navegadores, memoria, modelos de pesos abiertos y conectores. Todas apuntan al mismo riesgo: los agentes de IA pueden actuar sobre datos sensibles sin verificar adecuadamente lo que reciben.
***

  • Una extensión de navegador puede falsificar un clic y hacer que Claude para Chrome lea Gmail, Google Docs y Calendar.
  • Un correo cuidadosamente redactado logró plantar instrucciones falsas en la memoria de largo plazo de un agente en más de la mitad de los casos analizados.
  • Los conectores cambian con rapidez y pueden ampliar sus herramientas, subprocesadores y permisos sin que el usuario tenga una visión estable del sistema.

 

Durante aproximadamente diez días de julio, cuatro investigaciones mostraron distintas formas de atacar agentes de inteligencia artificial. Los casos involucraron un asistente de navegador, la memoria de un agente personal, modelos de pesos abiertos y conectores con servicios externos.

El punto común no fue un error aislado dentro de un modelo. En cada caso, el problema apareció en los elementos que permiten al agente recibir instrucciones, conservar información o ejecutar acciones en nombre del usuario.

La evolución de estos sistemas cambió la naturaleza del riesgo. Un chatbot que produce una respuesta incorrecta puede resultar incómodo, pero un agente conectado a Gmail, un calendario o una memoria personal puede convertir el mismo error en una oportunidad de ataque.

Los agentes combinan modelos de lenguaje con herramientas y permisos. Esa arquitectura les permite leer documentos, consultar reuniones, enviar mensajes o modificar información sin que el usuario intervenga en cada paso.

La promesa comercial depende precisamente de esa autonomía. Sin embargo, cada permiso adicional crea otra superficie de ataque, especialmente cuando el agente interpreta texto externo como si fuera una instrucción confiable.

La investigación de Manifold Security, reseñada por TheNextWeb, mostró que una extensión instalada en el navegador puede secuestrar silenciosamente Claude de Anthropic para Chrome. El mecanismo aprovecha la forma en que el asistente valida los clics antes de ejecutar una de sus nueve tareas integradas.

La herramienta escucha un clic del usuario, pero no comprueba si la acción fue real. Una extensión rival puede falsificar ese evento con seis líneas de código y hacer que Claude lo trate como una orden legítima.

Manifold calificó el problema como de alta gravedad por defecto. El riesgo sube a crítico cuando el usuario activa el modo “Actuar sin preguntar”, porque el asistente puede leer información sin solicitar confirmación.

La falla permite que el asistente acceda a servicios como Gmail, Google Docs y Calendar. En consecuencia, una extensión aparentemente distinta puede convertirse en una vía para consultar datos privados mediante el agente.

Manifold informó a Anthropic sobre el problema en mayo. Según la firma, el defecto continuaba funcionando en la versión actual después de ocho versiones del producto.

Memoria persistente y modelos envenenados

El segundo hallazgo trasladó la atención desde los clics hacia la memoria. Los agentes personales pueden conservar notas sobre contactos, hábitos y tareas para utilizarlas en conversaciones futuras.

Los investigadores evaluaron qué ocurriría si un atacante lograba escribir en ese almacén. Para ello, conectaron la bandeja de entrada de una víctima con un agente mediante el inicio de sesión de Google.

Después enviaron mensajes cuidadosamente redactados desde una cuenta bajo su control. El correo atravesó los filtros normales de spam y llegó a la bandeja de entrada del objetivo.

El agente leyó el mensaje y, en más de la mitad de los casos, guardó las instrucciones del atacante en su memoria de largo plazo. El sistema no mostró una advertencia clara al usuario.

La persistencia distingue este ataque de una inyección de comandos convencional. Una instrucción maliciosa puede desaparecer cuando termina una conversación, pero una memoria envenenada puede influir en sesiones posteriores.

El agente puede recordar una mentira sin informar de dónde provino. Esa ausencia de trazabilidad dificulta que el usuario identifique la causa de una recomendación, una acción o una respuesta alterada.

La tercera vulnerabilidad afecta a los modelos de pesos abiertos. Katie Paxton-Fear, profesora y defensora de la ciberseguridad en Semgrep, investigó si un modelo descargado gratuitamente podía incorporar una puerta trasera.

Paxton-Fear y dos colegas de Semgrep contaminaron un modelo en aproximadamente una hora y con un costo inferior a £75. Solo diez ejemplos de entrenamiento alterados bastaron para inducir al modelo a escribir código con una vulnerabilidad oculta.

El comportamiento apareció incluso ante solicitudes que el modelo nunca había visto. Los investigadores también observaron que los modelos más grandes resultaban más fáciles de envenenar, no más difíciles.

El problema central no es únicamente descargar un archivo manipulado. Los usuarios carecen de métodos suficientes para verificar qué hará un conjunto de pesos en situaciones que no fueron documentadas.

Un programa convencional puede analizarse para conocer sus instrucciones y comportamiento. En cambio, los pesos de un modelo no ofrecen una explicación equivalente sobre cada decisión que podría tomar.

David Kaplan, de la firma de seguridad Origin, construyó por separado un modelo manipulado que roba datos en silencio mediante una herramienta de correo electrónico. El sistema no mostraba señales visibles para el usuario.

Conectores, herramientas y la trifecta letal

El cuarto estudio examinó los conectores que vinculan ChatGPT y Claude con servicios externos como Gmail y Slack. Estas integraciones permiten que un agente consulte información y ejecute acciones fuera de la interfaz principal.

El desarrollador Simon Willison describió el riesgo central como la “trifecta letal”. Esta combinación reúne acceso a datos privados, exposición a contenido no confiable y capacidad para enviar información hacia el exterior.

Cuando un agente reúne las tres condiciones, un solo mensaje manipulado puede facilitar la extracción de secretos. Los conectores analizados entregan esas capacidades de forma predeterminada.

PromptArmor rastreó 2.517 conectores y descubrió que uno cambiaba, en promedio, cada nueve minutos. Durante seis semanas, 931 conectores registraron modificaciones.

Los proveedores añadieron 1.686 herramientas nuevas a conectores que ya estaban activos. También reescribieron 1.127 descripciones de herramientas, que indican al modelo cuándo debe actuar.

La cantidad de herramientas puede crecer dentro de una sola integración. El conector de Dropbox pasó de ocho herramientas a 24 y sumó cuatro funciones capaces de destruir datos, cuando antes no tenía ninguna.

Aproximadamente dos de cada cinco conectores de Claude llaman silenciosamente a otros servicios de inteligencia artificial. Esa cadena agrega proveedores y rutas de procesamiento que el usuario quizás no esperaba.

El conector de Zoom muestra el alcance de esa expansión. Una solicitud para buscar reuniones puede trasladar datos sensibles a cualquiera de diez subprocesadores de IA mediante ocho familias de modelos.

El mapa de permisos aprobado un lunes puede dejar de describir el sistema utilizado el viernes. La rapidez de los cambios complica las auditorías y reduce la capacidad del usuario para evaluar el riesgo real.

Los cuatro casos forman un patrón coherente. El modelo puede comportarse según sus instrucciones, mientras el fallo aparece en el clic que acepta, la memoria que conserva, los pesos que hereda o el conector que utiliza.

La autonomía como superficie de ataque

Durante décadas, la seguridad del software se apoyó en limitar las acciones que un programa podía realizar. Los agentes de IA se venden con una propuesta distinta: actuar ampliamente en nombre de una persona a partir de instrucciones escritas en lenguaje natural.

Esa flexibilidad aumenta la utilidad, pero también multiplica las puertas de entrada. Una extensión puede falsificar una señal, un correo puede alterar una memoria y un modelo contaminado puede ocultar una conducta maliciosa.

Los conectores añaden otra dificultad porque cambian con el tiempo. Una integración puede incorporar herramientas, permisos o subprocesadores nuevos sin que el usuario vuelva a evaluar toda la arquitectura.

La industria conoce varias medidas de protección. Entre ellas aparecen la verificación de clics reales, el etiquetado del origen de los datos, la confirmación antes de escribir en la memoria y el registro detallado de cada acción.

También resulta necesario tratar cualquier texto externo como potencialmente hostil. Un mensaje recibido por correo, una nota en un documento o una descripción de herramienta no debería considerarse automáticamente una instrucción autorizada.

El problema práctico es que esas barreras pueden ralentizar a los agentes. La velocidad y la capacidad de actuar sin preguntas forman parte central de la propuesta que ofrecen los proveedores.

La tensión ya apareció en otros incidentes relacionados con plataformas de inteligencia artificial, incluidos problemas en Hugging Face y el crecimiento de los llamados insiders sintéticos. Ahora el mismo conflicto se acerca a los asistentes integrados en el navegador.

Los usuarios enfrentan una decisión compleja. La comodidad de delegar tareas puede ser atractiva, pero entregar acceso a cuentas sensibles exige comprender qué datos recibe el agente y qué acciones puede ejecutar.

Las empresas también deben revisar sus controles internos. Un agente conectado a correo, documentos y reuniones puede transformar una instrucción aparentemente inocente en una ruta de exfiltración de información.

La conclusión de las investigaciones no apunta a un único producto roto. Señala que los agentes están conectándose a cuentas sensibles más rápido de lo que los desarrolladores perfeccionan sus defensas.

Las cuatro puertas descritas pertenecen a una misma casa. Mientras las barandillas avanzan un paso detrás de quienes encuentran los agujeros, la autonomía seguirá ofreciendo beneficios y riesgos en la misma proporción.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados