Por Canuto  

Una encuesta de IBM revela que apenas 11% de los ejecutivos se siente completamente preparado para desplegar agentes de IA, mientras una especialista advierte que los permisos aislados no bastan para controlar sus decisiones. El problema aparece cuando varias acciones aparentemente legítimas se combinan para eludir límites financieros, modificar sistemas críticos o producir efectos que el agente no evaluó.
***

  • Solo 11% de 2.000 ejecutivos de nivel C encuestados por IBM dijo estar completamente preparado para implementar agentes de IA.
  • Un agente autorizado para emitir reembolsos de hasta USD $50 podría procesar diez operaciones consecutivas y evitar una revisión por un monto mayor.
  • Madhuri Chandoor propone crear perfiles de comportamiento para agentes autónomos, además de controlar sus identidades y permisos de acceso.

La brecha entre capacidad y autoridad

Las empresas están incorporando agentes de inteligencia artificial a flujos de trabajo que antes dependían de empleados, sistemas rígidos o revisiones manuales. A diferencia de un chatbot limitado a responder preguntas, un agente puede interpretar instrucciones, utilizar herramientas conectadas y ejecutar acciones sobre bases de datos, plataformas financieras o infraestructura tecnológica. Esa autonomía abre oportunidades de eficiencia, pero también obliga a precisar qué puede hacer un sistema y qué decisiones debe escalar a una persona.

Una encuesta de IBM realizada a 2.000 ejecutivos de tecnología de nivel C encontró que apenas 11% se sentía completamente preparado para la implementación de agentes de IA prevista para el año siguiente. El estudio también indicó que dos tercios de los CIO y CTO eran responsables de sistemas de IA que no controlaban completamente, mientras 70% afirmó que los equipos desplegaban tecnología más rápido de lo que los departamentos de tecnología podían rastrear.

IBM presentó esos resultados como una señal de que la brecha de control crece a medida que la adopción empresarial se acelera. El desafío no se limita a conocer las herramientas conectadas a un agente, porque también incluye comprender por qué interpreta una solicitud de determinada manera y qué consecuencias puede desencadenar después de recibir autorización.

Madhuri Chandoor, fundadora de PromptHalo, sostiene que la diferencia entre capacidad y autoridad debe ocupar un lugar central en los controles corporativos. Según su planteamiento, un agente puede tener la capacidad técnica de modificar un sistema, pero esa posibilidad no significa que posea autoridad suficiente para hacerlo en cualquier contexto, momento o secuencia de acciones.

Cuando una acción legítima evade el límite

Chandoor utiliza un escenario de reembolsos para mostrar cómo los controles por operación pueden resultar insuficientes. En el ejemplo, un agente puede autorizar reembolsos de hasta USD $50 sin intervención humana, pero un usuario intenta solicitar diez reembolsos de USD $50 en lugar de uno solo por USD $500, que sí exigiría una revisión.

Analizada de forma aislada, cada transacción podría ajustarse al permiso establecido por la empresa. Sin embargo, la sucesión de solicitudes puede revelar un intento de evitar el umbral, especialmente si todas ocurren dentro de una misma sesión y responden a un objetivo común que el control individual no alcanza a identificar.

La advertencia no implica que cada serie de operaciones divididas constituya un fraude, sino que el sistema debería reconocer cuándo la combinación de eventos cambia el nivel de riesgo. Para Chandoor, revisar el contexto de la sesión y el comportamiento general permitiría decidir si corresponde detener la acción, pedir información adicional o transferir el caso a una persona.

El mismo problema puede surgir en áreas técnicas donde una decisión razonable en apariencia afecta procesos que el agente no consideró. La especialista describe el caso hipotético de un agente encargado de mejorar el rendimiento de una aplicación, que añade o elimina un índice o modifica estructuras de tablas directamente en un entorno de producción.

El contexto también importa en la infraestructura

Una modificación de base de datos puede parecer técnicamente adecuada si el agente solo observa la métrica de rendimiento que recibió como objetivo. No obstante, el cambio podría afectar transacciones en vivo, datos de clientes o procesos dependientes que quedan fuera del análisis inmediato, por lo que la optimización local podría generar una interrupción o un impacto más amplio.

“Una conclusión técnica puede parecer razonable dentro de un enfoque estrecho”, afirmó Chandoor al explicar ese riesgo. “El contexto, la situación y el impacto aguas abajo aún deben considerarse antes de que una acción proceda”, añadió, al defender controles que evalúen tanto la instrucción original como sus posibles efectos posteriores.

La expansión de los modelos de lenguaje de gran escala ha aumentado la superficie de riesgo porque los agentes pueden recibir información empresarial y utilizar más herramientas conectadas. Por esa razón, los equipos de seguridad deberían examinar cómo se interpreta una solicitud, qué permisos ofrece cada sistema integrado y si la acción propuesta corresponde al propósito para el que el agente fue configurado.

La preocupación marca una diferencia frente a los chatbots anteriores, que normalmente funcionaban dentro de intercambios de preguntas y respuestas más predeterminados. Cuando un agente puede actuar sobre sistemas externos, la evaluación de seguridad deja de concentrarse exclusivamente en la respuesta generada y debe incluir la autorización, el entorno operativo y las dependencias que podrían verse afectadas.

Perfiles de comportamiento para agentes autónomos

Chandoor propone complementar los permisos de identidad y acceso con perfiles de comportamiento para agentes autónomos. Su enfoque toma como referencia la monitorización de fraude utilizada en servicios financieros, donde las instituciones analizan transacciones y cuentas a lo largo del tiempo, en lugar de evaluar cada movimiento como un hecho completamente aislado.

Bajo ese modelo, una empresa podría revisar los recursos a los que accede un agente, las herramientas que utiliza y los cambios registrados en su actividad. También debería observar si sus acciones se vuelven inusualmente amplias, repetitivas o incompatibles con el papel que tiene asignado dentro de una sesión concreta.

La propuesta no reemplaza los controles tradicionales de identidad, autenticación y permisos, sino que añade una capa de interpretación sobre el uso real de esas facultades. Un agente que mantiene un patrón estable puede recibir un tratamiento distinto al de otro que, de repente, intenta consultar recursos no relacionados, encadena solicitudes para superar un límite o cambia su forma de operar.

Para aplicar esa supervisión, las organizaciones tendrían que documentar qué recursos puede utilizar cada agente, bajo qué condiciones se permite el acceso y qué efectos posteriores podrían producir sus acciones. Chandoor también recomienda establecer puntos de observabilidad que permitan inspeccionar la actividad y activar controles adicionales cuando la conducta se aparte del objetivo original.

Adopción con verificación permanente

Las preguntas sobre autorización deberían resolverse durante el diseño y mantenerse activas durante la operación, de acuerdo con la visión de Chandoor. Definir los permisos al comienzo no garantiza que el agente conserve un comportamiento apropiado cuando cambien los datos, las herramientas disponibles, las instrucciones del usuario o las condiciones del entorno empresarial.

Los puntos de control pueden ayudar a contener el impacto de una decisión y a determinar qué protección adicional requieren los sistemas subyacentes. En un flujo financiero, eso puede significar una revisión humana ante una secuencia inusual de reembolsos; en una base de datos, podría implicar impedir cambios en producción hasta evaluar las dependencias y los posibles efectos sobre clientes o transacciones.

La fundadora de PromptHalo no plantea detener la automatización agéntica, sino aplicar verificación adicional cuando las acciones involucren decisiones críticas. Su posición favorece el uso de estos sistemas para análisis y flujos de trabajo, siempre que exista una titularidad clara de la rendición de cuentas y que la empresa pueda reconstruir qué ocurrió antes, durante y después de una acción.

“Confía, pero verifica”, resumió Chandoor al describir su postura sobre la adopción responsable de la IA. En su opinión, las compañías pueden perseguir la innovación sin relegar la seguridad, pero necesitan observar continuamente el comportamiento de sus agentes y asignar responsabilidades concretas para operacionalizar esas salvaguardas.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados