Por Canuto  

Anthropic publicó un conjunto de métricas para mostrar cuánto interviene Claude en su propia investigación, cómo vigila a miles de agentes y qué proporción del cómputo interno destina a seguridad.
***

  • Claude lidera el 26% del trabajo de I+D de IA de Anthropic, aunque todavía no opera de forma totalmente autónoma.
  • Unos 30.000 agentes trabajan en la plataforma interna más utilizada y todas sus acciones pasan por monitores en línea y fuera de línea.
  • Durante una semana de medición, cerca del 6% del cómputo de I+D se destinó a seguridad, frente a 12% en la I+D impulsada por IA.

 

Anthropic presentó un conjunto de métricas para medir cómo se construyen los modelos de inteligencia artificial dentro de los laboratorios frontera. La propuesta busca ofrecer al público una ventana sobre tres asuntos que suelen permanecer detrás de los sistemas comerciales: cuánto trabajo de investigación ya realiza Claude, qué capacidad existe para supervisar agentes semiautónomos y cómo se distribuye el cómputo entre capacidades y seguridad.

La empresa advirtió que sus cifras corresponden a instantáneas internas y que podrían cambiar si los laboratorios coordinan una regulación del ritmo de desarrollo, como ha planteado su CEO, Dario Amodei. También anunció planes para incorporar evaluadores independientes de varias organizaciones, con acceso a procesos, sistemas y datos comparables a los utilizados por los equipos internos de evaluación de riesgos.

Claude gana espacio en la investigación

La primera métrica intenta responder una pregunta cada vez más relevante para la industria: cuánto de la investigación y desarrollo de nuevos modelos está haciendo la propia inteligencia artificial. Anthropic construyó un índice que cataloga las tareas de I+D de modelos, estima su nivel de automatización y pondera cada actividad según el tiempo de trabajo humano asociado.

La medición utiliza una escala desarrollada por Epoch AI que va desde AL0, sin participación de IA, hasta AL5, cuando el sistema trabaja de manera completamente autónoma y sin humanos en el ciclo. En AL3, la IA colabora bajo una dirección estrecha, mientras que en AL4 lidera la mayor parte de una tarea de extremo a extremo a partir de una instrucción general, con supervisión humana.

Según la instantánea correspondiente a agosto de 2026, Claude todavía no opera de manera totalmente autónoma en ningún subconjunto medido de la I+D de Anthropic. Sin embargo, el sistema lidera el 26% del trabajo de investigación y desarrollo de IA, mientras que la proporción realizada en un nivel equivalente a colaboración o superior supera el 90%.

Para construir el índice, agentes de Claude revisaron registros de trabajo, mensajes internos y documentación de una muestra del 20% del personal de cada departamento vinculado al ciclo de desarrollo de modelos durante las semanas de julio de 2026. El procedimiento produjo cerca de 15.000 tareas granulares, organizadas en un árbol de 542 nodos, incluidos 378 tipos específicos de actividad.

La supervisión alcanza a miles de agentes

La segunda medición se concentra en los agentes que Anthropic utiliza para investigación e ingeniería. En agosto de 2026, alrededor de 30.000 agentes trabajaban en cualquier momento dentro de la plataforma interna más utilizada por la compañía, aunque las cifras de monitoreo cubren únicamente ese entorno.

Anthropic divide sus controles en monitores en línea y fuera de línea. Los primeros revisan las acciones antes de su ejecución y pueden bloquear o corregir conductas peligrosas en tiempo real, mientras que los segundos analizan las actividades después de ocurridas para identificar patrones que evolucionan lentamente, como posibles señales de desalineación.

La cobertura declarada alcanza el 100% de las acciones en ambos sistemas, aunque la revisión funciona de forma distinta. El monitor en línea actúa generalmente en segundos y los humanos revisan las acciones bloqueadas dentro de una semana, mientras que el monitor fuera de línea procesa las transcripciones posteriormente, marca cerca de 100.000 por semana y eleva aproximadamente 50 casos de mayor prioridad a revisión humana.

La empresa analizó más de 1.000 millones de decisiones de agentes de investigación e ingeniería durante agosto y encontró que 0,002%, aproximadamente una de cada 47.000, fue bloqueada por el monitor en línea. El sistema fuera de línea marca entre una y dos transcripciones por cada 1.000 para una revisión adicional, una cifra que incluye falsos positivos y casos que luego se descartan.

El cómputo de seguridad sigue siendo una métrica imperfecta

La tercera medición examina cómo Anthropic distribuye su capacidad de cómputo entre investigación de capacidades, operaciones internas, inferencia y trabajo de seguridad. La compañía revisó el uso de sus aceleradores durante la semana del 13 al 20 de julio y clasificó las cargas de trabajo según su propósito dominante.

Durante ese período, aproximadamente 6% del cómputo dedicado a la I+D de IA se asignó a seguridad. Cuando el cálculo se limitó a la investigación y desarrollo impulsados por IA, la proporción subió a cerca de 12%, aunque Anthropic describió ambos resultados como estimaciones deliberadamente conservadoras.

La definición de seguridad incluyó trabajos cuyo propósito principal era hacer que los sistemas fueran más seguros, comprensibles o protegidos. Las actividades que podían avanzar simultáneamente las capacidades y la seguridad se contabilizaron como I+D general, mientras que los clasificadores de salvaguardas quedaron fuera de la métrica principal pese a requerir una cantidad separada y comparable de cómputo.

Anthropic reconoció que el cómputo no equivale directamente al esfuerzo de seguridad, porque muchos experimentos dependen más del tiempo de los investigadores que del uso intensivo de aceleradores. La proporción también puede caer cuando una herramienta se vuelve más eficiente, sin que eso signifique necesariamente que la empresa realiza menos trabajo de protección o alineación.

Transparencia y verificación independiente

La propuesta de Anthropic pretende que otros desarrolladores publiquen métricas comparables de forma periódica. Para la automatización de la I+D, eso requeriría una metodología común, porque cada laboratorio podría clasificar de manera distinta el límite entre colaboración y liderazgo de la IA.

La compañía también señaló un riesgo adicional: en su evaluación inicial utilizó modelos propios para juzgar el comportamiento de sus sistemas. El acuerdo exacto entre el modelo juez y los revisores humanos fue de 59%, frente a 35% entre humanos, y ambas evaluaciones quedaron dentro de un nivel de diferencia en 97% de los casos, aunque persistieron desacuerdos en situaciones límite.

En el caso de la supervisión, Anthropic propuso reportar cobertura, latencia de revisión y tasa de bloqueo o escalamiento. Además, los desarrolladores deberían probar de forma independiente si sus monitores detectan conductas dañinas conocidas, una tarea que METR ha realizado mediante evaluaciones de las capacidades autónomas y pruebas sobre sistemas de monitoreo asociados con desarrolladores de IA de frontera.

La compañía plantea que terceros independientes verifiquen tanto sus prácticas de seguridad como sus incidentes y métricas clave. Para ello, tendría que resolver problemas de acceso a datos competitivamente sensibles, etiquetas internas incompletas y clasificaciones que hoy dependen de reglas automatizadas o de información suministrada por los propios usuarios.

Qué muestran y qué no muestran las cifras

El índice de automatización utiliza una canasta de tareas congelada con base en julio de 2026, por lo que un aumento reflejaría la automatización de actividades que los humanos realizaban en ese momento. La cifra no demuestra por sí sola que estén desapareciendo todas las tareas humanas, porque también pueden surgir nuevas categorías de trabajo a medida que avanzan los modelos.

Anthropic comparó la estructura de tareas de julio con una canasta construida a partir de enero de 2026 y no encontró un aumento en el número de actividades novedosas entre febrero y julio. Aun así, la empresa planea reconstruir periódicamente la canasta para actualizar sus números y evitar que una clasificación inicial quede desfasada.

El monitoreo de agentes también tiene límites importantes, ya que la compañía lleva meses recopilando estos datos y todavía no puede asegurar que haya capturado todos los comportamientos posibles. Su diseño asigna una identidad persistente a cada agente y mantiene abiertas sus comunicaciones, lo que permite auditar acciones individuales, verificar afirmaciones de otros agentes y rastrear registros incluso cuando cambia el modelo subyacente.

La conclusión de Anthropic es que la sociedad necesita reducir la brecha informativa entre los laboratorios frontera y el público antes de decidir cómo regular el desarrollo de la IA. La publicación de estas métricas no resuelve por sí misma los problemas de seguridad, pero ofrece una base para comparar ritmos, exigir controles y evaluar si la supervisión humana mantiene el paso frente a la automatización.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados