Por Canuto  

Anthropic escogió a Accenture como su primer evaluador integrado y anunció que ambas compañías invertirán al menos USD $1.000 millones cada una durante cinco años para desarrollar capacidades de evaluación de modelos avanzados. La alianza representa el primer paso práctico del plan de Dario Amodei para moderar el ritmo de desarrollo de los sistemas de inteligencia artificial más avanzados.
***

  • Anthropic integrará empleados de Faculty, la división especializada en IA de Accenture, para evaluar sus modelos desde dentro de la empresa.
  • Las dos compañías acordaron invertir al menos USD $1.000 millones cada una durante cinco años, aunque Anthropic financiará directamente el trabajo de Accenture en la etapa inicial.
  • La alianza no es exclusiva: Anthropic también conversa con METR y otros terceros, mientras crece la presión por una evaluación independiente de la seguridad de la IA.

Anthropic eligió a Accenture como su primer evaluador integrado, una figura externa que tendrá acceso de nivel de empleado para revisar las prácticas de seguridad de la compañía. La decisión constituye el primer paso concreto del plan presentado por Dario Amodei para moderar el desarrollo de los modelos de inteligencia artificial más avanzados, en un momento de creciente preocupación por sus posibles efectos catastróficos.

La alianza contempla que empleados de Faculty, el negocio especializado en inteligencia artificial de Accenture, trabajen dentro de Anthropic para probar salvaguardas, ejecutar ejercicios de equipo rojo y analizar el comportamiento de sus modelos. Ambas empresas acordaron invertir al menos USD $1.000 millones cada una durante los próximos cinco años, lo que eleva el compromiso conjunto previsto a al menos USD $2.000 millones. En la etapa inicial, Anthropic financiará directamente el trabajo de Accenture.

Una supervisión desde dentro de Anthropic

El concepto de evaluador integrado busca superar una revisión puntual realizada desde fuera de la empresa. En lugar de recibir únicamente informes o acceso limitado a productos terminados, los especialistas de Accenture podrán observar procesos internos, examinar controles y reportar incidentes mientras participan en las actividades relacionadas con la seguridad de los modelos.

Las pruebas de equipo rojo consisten en intentar encontrar fallas deliberadamente, mediante escenarios diseñados para revelar comportamientos peligrosos, respuestas no deseadas o formas de eludir las restricciones incorporadas al sistema. En este caso, los evaluadores también deberán examinar si los modelos se comportan de acuerdo con los criterios de seguridad definidos por Anthropic.

Anthropic seguirá siendo responsable de la seguridad de sus modelos y la incorporación de evaluadores externos no elimina su obligación de rendir cuentas. La empresa busca añadir una capa de escrutinio con mayor independencia operativa, aunque los evaluadores permanecerán vinculados a un acuerdo de trabajo financiado inicialmente por la propia compañía que desarrolla la tecnología.

La compañía explicó que está compartiendo sus primeros pasos para que otras personas y desarrolladores de inteligencia artificial puedan observar el proceso. También advirtió que el modelo de evaluación probablemente cambiará a medida que madure el sector, por lo que espera divulgar nuevos detalles cuando comiencen las labores y cuando se incorporen más especialistas.

El plan de Dario Amodei y la presión sobre el sector

La selección de Accenture llegó después de que Amodei publicara un plan de tres pasos para moderar el ritmo con que las empresas mejoran sus modelos más avanzados. El primer componente consiste en permitir que evaluadores externos accedan a la compañía con nivel de empleado, verifiquen sus prácticas de seguridad e informen incidentes sin depender exclusivamente de los equipos que construyen los sistemas.

Amodei dijo que Anthropic asumió unilateralmente ese primer compromiso y animó a otras empresas de inteligencia artificial a adoptar una medida semejante. La propuesta provocó reacciones divididas en la industria: Sam Altman y Elon Musk estuvieron entre quienes la recibieron favorablemente, mientras que Jensen Huang sostuvo que no hacía falta una regulación nueva.

Anthropic y otras compañías de inteligencia artificial han enfrentado un escrutinio intenso después de que investigadores alertaran sobre la posibilidad de que los sistemas más avanzados provoquen daños catastróficos para la humanidad. El debate no se limita a la precisión de los modelos o a sus efectos laborales, sino que abarca la capacidad de sistemas más avanzados para operar con autonomía, superar controles o facilitar usos perjudiciales.

La empresa también conversa con la organización de investigación sin fines de lucro METR y con otros terceros, porque el acuerdo con Accenture no es exclusivo. Anthropic indicó que, a largo plazo, la financiación de estas evaluaciones debería proceder de fondos agrupados o de gobiernos, tal como propuso en su Marco de IA Avanzada publicado en junio, pero reconoció que ninguna de esas alternativas existe actualmente.

Financiación, independencia y próximos pasos

El compromiso financiero anunciado por las compañías busca construir capacidad de evaluación durante un periodo de cinco años, pero la estructura inicial deja a Anthropic como financiador directo del trabajo de Accenture. La empresa justificó esa decisión por la importancia y urgencia del proyecto, al tiempo que señaló que pretende trabajar con distintos evaluadores bajo acuerdos de financiación diferentes.

Ese modelo plantea una tensión central para cualquier mecanismo de supervisión: los especialistas necesitan acceso suficiente para detectar fallas, pero también deben conservar independencia para comunicar problemas que puedan resultar incómodos para la compañía evaluada. Anthropic insistió en que la responsabilidad final seguirá en sus manos, una aclaración relevante porque la revisión externa no equivale por sí sola a una autoridad regulatoria.

La apertura llega mientras Anthropic se prepara para una posible oferta pública inicial. Reuters informó que la compañía podría comenzar a comercializar la operación a mediados de octubre, como muy pronto, aunque el calendario todavía depende de los procesos correspondientes. La perspectiva de una eventual salida a bolsa aumenta la atención sobre la forma en que Anthropic administra riesgos, comunica incidentes y demuestra que sus promesas de seguridad pueden convertirse en procedimientos verificables.

El resultado de la alianza dependerá de lo que los evaluadores puedan revisar, de la libertad que tengan para escalar incidentes y de la transparencia con que se publiquen sus conclusiones. Anthropic aún no detalló cuándo comenzará exactamente el trabajo ni qué otros evaluadores se incorporarán, pero presentó el acuerdo como una primera versión de un sistema que espera ampliar conforme avance la tecnología.

Un debate que busca reglas antes de la próxima carrera

La propuesta de Amodei intenta trasladar la discusión sobre seguridad desde los principios generales hacia mecanismos operativos dentro de las empresas. Para los desarrolladores, eso significa aceptar que los controles deben someterse a pruebas adversariales y a observadores con suficiente acceso para cuestionar decisiones técnicas antes de que los modelos lleguen a más usuarios.

La respuesta de otros ejecutivos revela que todavía no existe consenso sobre la velocidad adecuada para la innovación ni sobre el papel de los gobiernos. Mientras algunos consideran que la expansión de capacidades exige nuevas barreras, otros sostienen que la industria puede avanzar con los controles actuales y que una regulación adicional podría ralentizar aplicaciones potencialmente beneficiosas.

La participación de Accenture puede ofrecer a Anthropic experiencia adicional en evaluación empresarial y en la creación de procesos repetibles, pero no resuelve por completo la cuestión de quién debe juzgar los riesgos sistémicos. La empresa deberá demostrar que los informes de los evaluadores pueden influir en el lanzamiento, modificación o retiro de modelos cuando aparezcan amenazas relevantes.

Por ahora, la alianza marca un cambio de tono en la carrera por construir inteligencia artificial más potente: la seguridad deja de presentarse únicamente como una función interna y empieza a incorporar supervisión integrada. El siguiente desafío será convertir ese experimento en un estándar creíble para toda la industria, con financiación sostenible, independencia efectiva y resultados que puedan ser examinados públicamente.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.
Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados