Por Canuto  

AIUC, una startup fundada por un temprano empleado de Anthropic y el ex COO de METR, recaudó USD $40 millones para impulsar un estándar de auditoría que evalúa si los agentes de IA pueden resistir jailbreaks, alucinaciones y fugas de datos antes de llegar a empresas y organizaciones sensibles.
***

  • AIUC anunció una Serie A de USD $40 millones liderada por Ribbit Capital, con participación de First Harmonic.
  • La startup utiliza el estándar AIUC-1 y unas 5.000 pruebas para evaluar la conducta de los agentes de IA.
  • Cursor, Lovable, Harvey y ElevenLabs figuran entre los clientes mencionados por la empresa.

Una apuesta por controlar agentes cada vez más capaces

AIUC, una startup enfocada en seguridad para sistemas de inteligencia artificial, anunció una Serie A de USD $40 millones mientras intenta resolver uno de los principales obstáculos para la adopción empresarial de agentes de IA: demostrar que pueden operar dentro de límites previsibles. La ronda fue liderada por Ribbit Capital, con participación de First Harmonic, y elevó a USD $55 millones el financiamiento total de la compañía desde su creación.

La empresa fue fundada por Rune Kvist y Rajiv Dattani, quienes además son cuñados. Kvist fue uno de los primeros empleados de Anthropic, mientras que Dattani ocupó el cargo de COO de la organización de investigación en seguridad de IA METR entre 2024 y 2025 y continúa como miembro de su junta directiva.

La propuesta aparece en un momento de creciente preocupación sobre la posibilidad de que agentes con capacidad para ejecutar tareas se comporten de forma inesperada dentro de empresas. En lugar de limitarse a medir si un modelo es inteligente o puede completar una tarea, AIUC busca ofrecer a compradores y desarrolladores una evaluación independiente sobre los riesgos prácticos de desplegarlo.

En declaraciones recogidas por TechCrunch, Kvist sostuvo que la IA se vuelve más difícil de adoptar y controlar a medida que aumenta su capacidad. A su juicio, el desafío no consiste únicamente en construir modelos más potentes, sino en garantizar que las organizaciones puedan cumplir las promesas hechas a sus clientes sobre lo que esos sistemas harán y lo que no harán.

El estándar AIUC-1 y las pruebas para agentes

AIUC desarrolló un estándar denominado AIUC-1, inspirado en SOC 2, un marco ampliamente utilizado en ciberseguridad para evaluar controles y prácticas de las empresas. La startup también creó un servicio de pruebas que somete a los agentes de IA a distintos escenarios de riesgo, con la intención de convertir los resultados técnicos en información útil para los compradores.

Para construir el estándar, la compañía reunió un consorcio de aproximadamente 250 líderes de seguridad y riesgo. Según explicó Dattani, ese grupo está compuesto por potenciales compradores de agentes de IA, a quienes AIUC consulta de manera mensual sobre las preguntas que formularían antes de adquirir un sistema y los controles que esperarían encontrar.

La batería de evaluación incluye unas 5.000 pruebas relacionadas con jailbreaks, alucinaciones y fugas de datos. En este contexto, un jailbreak es un intento de eludir las restricciones de un sistema, mientras que las alucinaciones se refieren a respuestas incorrectas o inventadas que el agente presenta como si fueran confiables.

Los resultados se reúnen en un informe de aproximadamente 100 páginas que detalla en qué escenarios el agente funciona de manera segura y confiable, además de señalar los contextos en los que presenta deficiencias. La empresa utiliza agentes de IA para ejecutar las pruebas y herramientas de IA para analizar los datos, aunque Kvist afirmó que los seres humanos verifican la auditoría final.

Una capa independiente para compradores y desarrolladores

La tesis comercial de AIUC parte de que instituciones como bancos, hospitales, gobiernos y fuerzas militares ya no rechazan necesariamente una herramienta porque carezca de suficiente capacidad. El problema, según Kvist, es que esas organizaciones han asumido compromisos con sus clientes y necesitan garantías de que un agente no excederá las funciones autorizadas ni expondrá información sensible.

La startup menciona a Cursor, Lovable, Harvey y ElevenLabs entre sus clientes, aunque la información disponible no detalla el alcance específico de los servicios contratados por cada empresa. AIUC pretende atender tanto a las compañías que construyen modelos y agentes como a las organizaciones que deben decidir si los incorporan en sus operaciones.

Dattani describió el objetivo como una referencia externa para que los compradores conozcan dónde un agente puede utilizarse con mayor confianza y dónde persisten preocupaciones. La idea no es presentar una certificación como garantía absoluta de seguridad, sino entregar evidencia para que una decisión de compra considere los límites documentados del sistema.

La compañía diferencia su enfoque del trabajo de METR, organización que realiza evaluaciones para laboratorios de modelos de frontera. METR se ha concentrado principalmente en medir el rendimiento, es decir, si los agentes pueden completar tareas de forma confiable, mientras que AIUC quiere trasladar una lógica de evaluación independiente al proceso mediante el cual las empresas seleccionan y despliegan estos productos.

El debate sobre evaluadores externos de IA

La iniciativa de AIUC coincide con un debate más amplio sobre quién debe verificar la seguridad de los sistemas avanzados. METR fue una de las organizaciones independientes que OpenAI utilizó para investigar un incidente relacionado con un modelo de ChatGPT y su comportamiento excesivamente complaciente frente a los usuarios.

El director ejecutivo de Anthropic, Dario Amodei, también pidió recientemente que la industria modere el desarrollo de modelos de frontera, al citar un aumento rápido de los incidentes de mal comportamiento. En esa propuesta planteó que los laboratorios incorporen evaluadores externos para observar y verificar la seguridad de sus sistemas, y mencionó a METR como una posible organización para esa función.

AIUC no propone integrarse directamente en los sitios o infraestructuras de sus clientes para supervisar cada operación. Su modelo consiste en realizar pruebas y entregar una auditoría independiente antes de que una empresa decida comprar o desplegar un agente, una aproximación que comparte con la propuesta de evaluadores externos, aunque con un punto de intervención diferente.

El crecimiento de agentes capaces de interactuar con herramientas, datos y procesos empresariales aumenta el costo de los errores que antes podían quedar limitados a una respuesta incorrecta. Por eso, el estándar AIUC-1 busca convertir preocupaciones difíciles de medir, como la fuga de información o la resistencia a instrucciones maliciosas, en resultados que puedan compararse durante una adquisición.

Financiamiento y próximos desafíos

Antes de la Serie A, AIUC había cerrado una ronda semilla de USD $15 millones encabezada por Nat Friedman a través de su fondo NFDG. En esa etapa también participaron Emergence, Terrain y Ben Mann, cofundador de Anthropic, entre otros inversionistas, lo que sitúa el capital acumulado de la startup en USD $55 millones.

La participación de fondos y figuras vinculadas al desarrollo de IA refleja el interés por construir una infraestructura de confianza alrededor de los agentes. Sin embargo, el financiamiento no demuestra por sí mismo que el estándar pueda anticipar todos los riesgos, especialmente porque los sistemas cambian con rapidez y pueden comportarse de manera distinta según sus herramientas, datos y permisos.

Otro desafío será establecer hasta qué punto las pruebas de AIUC-1 resultan comparables entre productos con arquitecturas diferentes. Un agente diseñado para programación puede enfrentar riesgos distintos a los de una herramienta utilizada en atención al cliente o análisis legal, por lo que la utilidad de una certificación dependerá de que sus escenarios reflejen el contexto real de cada despliegue.

La startup apuesta a que compradores y desarrolladores preferirán contar con un informe detallado antes de asumir responsabilidades operativas, regulatorias o reputacionales. Si ese modelo gana aceptación, las auditorías de agentes podrían convertirse en una capa habitual de la adquisición empresarial de IA, del mismo modo que los controles de ciberseguridad acompañan hoy muchas decisiones tecnológicas.

El resultado dependerá de que AIUC mantenga independencia, transparencia y capacidad para actualizar sus pruebas conforme evolucionen los modelos. Por ahora, su propuesta ofrece una respuesta concreta a una inquietud cada vez más visible: no basta con que un agente complete una tarea, también debe hacerlo sin cruzar los límites que la organización necesita controlar.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados