AWS presenta UAEF para comparar agentes de IA sin importar el framework

AWS presentó UAEF, un marco de código abierto que busca comparar agentes de IA construidos con distintos frameworks mediante 36 métricas comunes. La herramienta también registra regresiones entre versiones, aunque depende de servicios de AWS para varias funciones y no ofrece aislamiento multiinquilino por sí sola.
***

• UAEF normaliza las trazas de LangGraph, LangChain, Strands Agents y Amazon Bedrock AgentCore para evaluarlas con las mismas métricas.
• El sistema integra 36 métricas en siete dimensiones y compara experimentos con un umbral de cambio predeterminado de 5 %.
• El juzgamiento con modelos y el almacenamiento persistente requieren servicios de AWS; cada inquilino necesita un despliegue aislado.

AWS propone una escala común para evaluar agentes de IA

AWS presentó el Universal Agent Evaluation Framework, conocido como UAEF, una herramienta de código abierto destinada a evaluar agentes de inteligencia artificial sin atar las pruebas a un único framework. Según una publicación técnica de Unite.AI fechada el 11 de noviembre de 2026, el sistema reúne 36 métricas en siete dimensiones y busca que los resultados sigan siendo comparables cuando un equipo cambia de herramientas, modelos o implementación.

El problema que aborda UAEF es práctico: LangGraph, LangChain, Strands Agents y Amazon Bedrock AgentCore registran mensajes, llamadas a herramientas y transferencias entre agentes de maneras diferentes. Si un equipo cambia de framework, su código de evaluación puede requerir nuevas métricas, reglas de puntuación y sistemas para guardar resultados, lo que complica saber si una modificación realmente mejoró el agente.

La propuesta de AWS es establecer una representación común de esas interacciones y evaluarlas con un motor compartido. La compañía afirma que clientes de 12 organizaciones de telecomunicaciones, salud y servicios financieros utilizaron UAEF para aplicar métricas consistentes y comparar versiones de agentes antes de lanzarlas, aunque la información publicada no identifica a esas organizaciones.

El repositorio awslabs/uaef reúne la librería de Python, adaptadores para frameworks, métricas, infraestructura de despliegue en AWS, una interfaz web y notebooks ejecutables. El proyecto se distribuye con licencia Apache-2.0, una licencia de código abierto que permite utilizar y modificar el software sujeto a sus condiciones; su alcance, sin embargo, no elimina las dependencias de infraestructura que aparecen en algunas funciones.

Trazas comunes y métricas con distintos requisitos

Los adaptadores convierten mensajes, llamadas a herramientas y transferencias entre agentes en una estructura canónica llamada AgentTrace, que funciona como entrada para el motor de puntuación. UAEF puede procesar una traza existente de una ejecución previa, un registro o un almacén de observabilidad, pero también invocar un agente mediante el ARN de un runtime o un endpoint HTTP y convertir los datos de esa ejecución.

Un adaptador JSON genérico amplía el esquema a frameworks personalizados, de modo que los equipos no quedan limitados a los cuatro entornos citados en la presentación. Una vez normalizadas las trazas, las métricas integradas se organizan en siete dimensiones: llamadas a herramientas, calidad de respuesta, IA responsable, rendimiento, conversación de varios turnos, coordinación multiagente y razonamiento.

Las puntuaciones se expresan en una escala normalizada de 0 a 1, donde 1 representa el mejor resultado. Las métricas deterministas se calculan directamente a partir de las trazas y de una respuesta de referencia cuando corresponde; las evaluaciones de relevancia o seguridad, en cambio, pueden recurrir a un modelo de Amazon Bedrock como juez.

Las referencias no son obligatorias para todas las pruebas, aunque sí para las métricas que comparan la respuesta con una solución esperada. Las evaluaciones de herramientas también pueden especificar cuáles se esperaban, en qué orden debían aparecer y con qué argumentos; cuando falta información necesaria, UAEF devuelve una puntuación vacía con una advertencia y excluye ese resultado del promedio de la dimensión, en lugar de tratarlo como cero.

Experimentos para localizar cambios y regresiones

Los resultados guardados se organizan como experimentos, con metadatos de listado y comparación en Amazon DynamoDB y archivos JSON completos en Amazon S3. Estos últimos pueden incluir las puntuaciones de cada métrica y el razonamiento del modelo juez, mientras que los metadatos registran recuentos de evaluaciones y promedios para facilitar la revisión de distintas ejecuciones.

Una ejecución puede guardar datos sobre el framework, el modelo, las herramientas, el prompt del sistema, los parámetros, una instantánea de configuración y el commit de Git. Asociar esos elementos con la puntuación permite reconstruir qué diseño se estaba probando y reduce el riesgo de atribuir una mejora o un deterioro a un cambio que ocurrió al mismo tiempo que otros.

Al comparar experimentos, el motor calcula variaciones absolutas y porcentuales para las métricas presentes en ambas ejecuciones. El umbral configurable separa mejoras, regresiones y resultados sin cambios, y viene establecido en 5 %; las regresiones, además, se clasifican como menores, moderadas o graves y se agrupan por dimensión para mostrar, por ejemplo, si un cambio de prompt perjudicó el uso de herramientas sin afectar la calidad de respuesta.

La interfaz web permite examinar resultados por caso de prueba y dimensión, mientras que un informe estadístico opcional analiza distribuciones de puntuaciones, intervalos de confianza, valores atípicos, correlaciones y casos fallidos sin utilizar un LLM. Por separado, un análisis generado mediante Bedrock puede sugerir causas raíz y próximos pasos priorizados, pero AWS distingue esa interpretación automatizada de las estadísticas reproducibles del informe.

Dependencias, seguridad y límites de despliegue

La librería de Python y el servicio web de bajo código usan el mismo motor de evaluación y los mismos almacenes, con opciones para ejecutar pruebas desde notebooks, scripts, pipelines de integración y entrega continuas o un navegador. La guía de instalación indica que se requiere Python 3.10 o posterior y el gestor de paquetes uv, mientras que el uso de jueces basados en Bedrock y la persistencia en DynamoDB y S3 requiere credenciales de AWS.

Eso significa que los equipos que activan esas funciones siguen conectados a los servicios de AWS aunque sus agentes funcionen con otros frameworks. La distinción importa para organizaciones que buscan portabilidad: UAEF pretende independizar la evaluación del formato de cada framework, pero no plantea que todas sus capacidades operen sin la infraestructura de la compañía.

El marco trata la salida del agente evaluado como entrada no confiable para las instrucciones del modelo juez. Según la descripción de AWS, separa la rúbrica del contenido evaluado, escapa ese contenido, analiza estrictamente las respuestas del juez y exige una evidencia textual antes de aceptar una puntuación; aun así, la empresa advierte que estas puntuaciones no deben utilizarse como controles de seguridad.

La aplicación de seguridad durante la invocación corresponde a una ruta separada de Amazon Bedrock Guardrails, y la arquitectura de referencia de UAEF presupone que la plataforma de despliegue proporciona aislamiento entre usuarios e inquilinos. El repositorio no admite un despliegue multiinquilino directo sin esa protección del entorno: cada inquilino necesita un despliegue separado con su propia cuenta de AWS o, como mínimo, su propio stack, tablas de DynamoDB, buckets de S3 y grupo de usuarios de Cognito.

UAEF ofrece así una línea base para evaluar agentes cuando cambian prompts, modelos, herramientas o frameworks, pero la continuidad no surge solo de instalar la librería. Comparaciones útiles requieren métricas y conjuntos de datos adecuados, y el manejo de resultados sin etiquetas depende de que cada métrica disponga de los datos que necesita; el aislamiento, por su parte, queda a cargo de la plataforma que aloja el sistema.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín