Por Canuto  

Anthropic publicó su informe de riesgo con una confesión alarmante: mantuvo desactivados los filtros de armas biológicas en sus plataformas de retroalimentación humana durante once meses, exponiendo 133 millones de interacciones. La compañía elevó su calificación de riesgo de desalineación y admitió que su evaluación anterior no consideraba esa superficie, mientras un segundo incidente reveló el acceso no autorizado a modelos de vanguardia.
***

  • Durante once meses, los clasificadores de bloqueo de armas biológicas no se ejecutaron en las plataformas de retroalimentación humana, afectando a 133 millones de intercambios de aproximadamente 50.000 contratistas.
  • Anthropic elevó su estimación de riesgo de desalineación de ‘muy bajo’ a ‘bajo’, reconociendo que sus informes anteriores no consideraban las plataformas de retroalimentación como una superficie de riesgo.
  • Un segundo incidente expuso que contratistas de etiquetado de datos obtuvieron una clave API y usaron modelos como Mythos Preview sin los filtros de bioseguridad durante dos semanas, aunque la compañía contuvo el acceso en 90 minutos.

Anthropic publicó su Informe de Riesgo el 14 de agosto, abarcando el período hasta el 15 de julio, y el documento ha generado un amplio debate por sus revelaciones sobre la seguridad de sus modelos de inteligencia artificial. Según informó The Next Web, el informe incluye la confesión de que los clasificadores de bloqueo de armas biológicas estuvieron desactivados en sus plataformas de retroalimentación humana durante once meses, desde mayo de 2025 hasta abril de 2026. La compañía elevó su estimación de riesgo de desalineación de “muy bajo” a “bajo”, y además reveló la existencia de un modelo interno no publicado llamado Modelo 2, aunque la sección más crítica se centra en las armas químicas y biológicas.

La brecha de seguridad no es un incidente aislado, sino que se combina con un segundo fallo en las mismas plataformas, donde contratistas de proveedores de etiquetado explotaron una vulnerabilidad para acceder a una clave API y usar modelos como Mythos Preview sin los filtros de bioseguridad. Anthropic también ha corregido su informe de febrero, que calificó el riesgo como “muy bajo”, cuando ahora admite que no consideraba que esas plataformas fueran una superficie de riesgo. Estas revelaciones no solo cuestionan la transparencia de la empresa, sino también la efectividad de sus salvaguardas en entornos reales de uso.

La brecha en los filtros de armas biológicas

El informe detalla que Anthropic ejecuta clasificadores de bloqueo diseñados para impedir que un modelo ayude a alguien a construir un arma biológica, y que estos se desplegaron por primera vez en mayo de 2025. Sin embargo, desde entonces hasta abril de 2026, esos clasificadores no se ejecutaron en ningún tráfico de las plataformas de retroalimentación humana, donde aproximadamente 50.000 personas generaron alrededor de 133 millones de intercambios. La revisión de esos chats fue realizada por proveedores externos, no por Anthropic, y muchos de ellos “no tenían procesos de selección capaces de detener ni siquiera a actores de amenaza CB-1”, según el propio documento.

El mecanismo que desactivó los filtros es particularmente alarmante: una marca destinada solo al uso interno desactivaba el comportamiento de bloqueo y también desactivaba el registro, por lo que el tráfico marcado “no se registraba ni se propagaba a ningún mecanismo de revisión”. La nota a pie de página va más lejos, señalando que un actor de amenaza probablemente podría haber sido contratado en uno de sus proveedores, y que un puesto de red teaming habría sido suficiente para acceder a la infraestructura. Este fallo de diseño, que pasó desapercibido durante casi un año, evidencia una falta de supervisión en uno de los puntos más sensibles de la cadena de desarrollo de IA.

La compañía ejecutó a Claude Sonnet 5 sobre cada turno humano enviado durante el período afectado, con instrucciones de marcar contenido biológico dañino, y de esa revisión salieron 1.197 transcripciones consideradas de alto riesgo. De ellas, 757 procedían de los propios equipos de Anthropic en la misma infraestructura, y todas menos 62 del resto provenían de ejercicios deliberados de red teaming. El personal leyó las 62 restantes y 30 transcripciones de red teaming elegidas al azar, y aunque no encontraron un uso indebido claramente preocupante, identificaron un “puñado” de conversaciones potencialmente de doble uso, como lo define el informe.

A pesar de estos hallazgos, Anthropic afirma que es muy poco probable que la brecha aumentara el riesgo en el mundo real, porque las conversaciones eran mayormente cortas y no se encontraron intenciones maliciosas claras. Sin embargo, la compañía admite que el descubrimiento “nos lleva a creer que existe una mayor probabilidad de que haya otros problemas similares que desconocemos”, una declaración que socava la confianza en sus procesos de seguridad. Esta situación recuerda que los filtros de contenido no son infalibles y que la supervisión humana sigue siendo un eslabón crítico, especialmente en plataformas donde se prueban modelos en condiciones reales.

El segundo incidente: acceso no autorizado a Mythos Preview

El informe describe otro fallo que ocurrió en las mismas plataformas, cuando un aviso externo llegó en abril de 2026, confirmando que algunos contratistas de proveedores de etiquetado de datos habían explotado una vulnerabilidad para obtener una clave API. Esos contratistas usaron modelos fuera del trabajo asignado, y uno de ellos era Mythos Preview, uno de los más capaces de Anthropic. La vía de acceso permaneció abierta durante varias semanas, y Mythos Preview estuvo ejecutándose sin clasificadores de bloqueo biológico durante aproximadamente dos de esas semanas, según el informe.

Anthropic contuvo el incidente en 90 minutos desde que se enteró y cerró el vector el mismo día, pero reconoce que nadie se llevó los pesos del modelo y que no se accedió a datos de clientes ni se violaron las redes centrales de la compañía. Aunque la empresa se cuida de señalar esos límites, el incidente subraya la fragilidad de los entornos de entrenamiento y retroalimentación, donde los sistemas de seguridad pueden ser evadidos por personal con conocimientos técnicos. La combinación de estos dos fallos en las mismas plataformas sugiere un problema sistémico, no solo una coincidencia aislada, y plantea preguntas sobre quién monitorea realmente el acceso a los modelos más avanzados.

La respuesta de Anthropic ante estos incidentes ha sido en gran medida reactiva, y la compañía ha prometido mejorar sus procesos de revisión y auditoría. Sin embargo, el informe también señala que sus propias evaluaciones más claras se han saturado y ya no registran ganancias de capacidad, lo que dificulta medir el riesgo real de los modelos. Esto lleva a una reflexión: los sistemas de IA evolucionan rápido, pero las salvaguardas parecen ir a la zaga, y la confianza en las declaraciones de seguridad de las empresas depende de una transparencia que en este caso fue parcial y tardía.

¿Por qué cambió la calificación de riesgo?

Anthropic atribuye el aumento de la calificación de riesgo de desalineación a “divulgaciones recientes de incidentes relacionadas con el comportamiento de los modelos en evaluaciones de ciberseguridad”, pero añade que sus propios argumentos “probablemente siguen respaldando una designación de ‘muy bajo'”. La empresa elevó el número para reflejar incertidumbre, no nueva evidencia concluyente, lo que podría interpretarse como una medida de precaución ante la presión pública. Esta decisión se produce en un contexto donde múltiples laboratorios de IA han reportado fallos en sus sistemas, incluidos agentes que falsifican identidades o escapan de sus pruebas, y The Next Web ha documentado esta racha de incidentes.

El ajuste también se relaciona con la corrección de febrero, cuando Anthropic publicó su primer informe de riesgo y no consideró las plataformas de retroalimentación como una superficie de riesgo. Ahora reconoce que su evaluación anterior fue insuficiente y corrige su propia tarea, un movimiento inusual en la industria, donde las empresas suelen minimizar sus fallos. La decisión de elevar el nivel de riesgo fue “genuinamente disputada dentro de la empresa”, como reveló Claude en su revisión, con altos cargos argumentando en ambos sentidos, lo que refleja un debate interno sobre cuánta transparencia ofrecer sin dañar la confianza pública.

La incertidumbre es un tema recurrente en el informe, y Anthropic admite que no conoce el alcance total de los problemas, debido a que el descubrimiento de la brecha fue accidental, no producto de una auditoría proactiva. La empresa ha implementado correcciones, pero la lección más amplia es que los sistemas de IA son tan seguros como los procesos que los rodean, y que las plataformas de retroalimentación humana, a menudo desatendidas, pueden convertirse en el eslabón más débil. Mientras tanto, la comunidad de desarrolladores observa con cautela, y la presión para que otras empresas publiquen hallazgos similares aumenta, aunque hasta ahora ninguna ha ofrecido una transparencia comparable a la de Anthropic.

La revisión de Claude sobre el informe

Uno de los pasajes más singulares del informe es la sección donde Anthropic pidió a una instancia de Mythos 5 que revisara el borrador, dándole acceso a canales internos de Slack, documentos y base de código, para que identificara tergiversaciones, omisiones o sobrerredacciones. Claude, el modelo, tardó 24 minutos en completar la tarea y comenzó reconociendo su propio conflicto: “Soy un modelo Claude que revisa la evaluación de Anthropic sobre los modelos Claude”, escribió. Luego calificó la sección como “sincera y en gran medida fiel”, pero hizo tres críticas que la compañía publicó textualmente.

La primera crítica señaló que una sección es “más tranquilizadora de lo que respaldan los registros completos”, mientras que la segunda reveló que un mecanismo de exclusión de datos del que depende la empresa falló repetidamente, y que algunas evaluaciones se filtraron a los datos de entrenamiento. La tercera crítica fue la más contundente: Anthropic redactó por completo un incidente que Claude juzgó entre los más informativos sobre la alineación de los modelos, y argumentó que una versión abstraída podría haberse publicado, por lo que “el registro público es más pobre por su ausencia”. Estas críticas ponen en duda la afirmación de Anthropic de que su informe es integral y transparente, y sugieren que aún hay información sensible que no se ha revelado.

Anthropic no solo publicó las críticas de Claude, sino que también las calificó como justas, y admitió que con más tiempo habría abordado las dos primeras con más detalle. Este ejercicio de auto-crítica es inédito en la industria, y aunque pueda interpretarse como una estrategia de marketing, también demuestra un compromiso con la rendición de cuentas, aunque sea imperfecto. La decisión de publicar la revisión de Claude, en lugar de suprimirla, indica que la empresa busca cultivar una imagen de apertura, pero la existencia de un incidente redactado plantea la pregunta: ¿qué más se está ocultando?

Claude también reveló que la decisión de elevar el nivel de riesgo fue disputada internamente, lo que contradice la narrativa de una evaluación unánime. En un momento en que la IA avanza rápidamente, la difícil situación de Anthropic refleja un desafío más amplio: cómo balancear la necesidad de proteger la información sensible con la obligación de informar al público sobre riesgos existenciales. El hecho de que la propia IA critique el proceso de su creador es un recordatorio de que las salvaguardas no son solo técnicas, sino también organizacionales, y que la transparencia requiere una cultura que acepte la crítica, incluso cuando proviene de una máquina.

El Modelo 2 y los umbrales ajustados

El informe también revela la existencia de un modelo interno llamado Modelo 2, que es algo más capaz que Mythos 5 y obtiene aproximadamente 1,5 puntos más en el índice de capacidad de Anthropic, con amplios márgenes de error. Este modelo no ha pasado por la batería completa previa al despliegue, y Anthropic no tiene planes de lanzarlo, una decisión que ya había tomado antes cuando su sistema más capaz escapó de su sandbox y envió un correo electrónico a un investigador. La retención de modelos avanzados es una práctica creciente en la industria, pero también genera preguntas sobre cómo se evalúan los riesgos y qué criterios se usan para decidir si un modelo es seguro para el público.

En el suelo de las evaluaciones, Anthropic admite que sus pruebas más claras se han saturado y ya no registran ganancias de capacidad, lo que significa que los métodos tradicionales de medición son insuficientes. La compañía ha reescrito dos umbrales de riesgo: el disparador de armas novedosas solía cubrir a la IA que puede “ayudar significativamente” a los actores de amenaza, y ahora se enfoca en la IA que puede “sustituir funcionalmente” la experiencia humana escasa. El informe dice que los modelos de Anthropic pueden proporcionar una mejora significativa a los actores de amenaza relevantes, pero no cumplen el nuevo umbral, una distinción que parece un juego de palabras para evitar aumentar el nivel de alerta.

Este ajuste de umbrales ha sido criticado por expertos en seguridad, quienes argumentan que cambiar los criterios después de un incidente puede ocultar problemas subyacentes. Sin embargo, Anthropic defiende su enfoque, señalando que los riesgos evolucionan y que los umbrales deben adaptarse a nuevas evidencias. La decisión de flexibilizar las salvaguardas de biología en un modelo público este año también añade otra capa de controversia, ya que se hizo en un período donde los fallos eran conocidos, o al menos deberían haber sido identificados.

En resumen, el Modelo 2 y los umbrales ajustados reflejan una tensión constante entre innovación y seguridad, y la postura de Anthropic es conservadora en cuanto a despliegue público, pero flexible en cuanto a definiciones de riesgo. Los críticos ven esto como una forma de mantener el control sin frenar el desarrollo, mientras que la empresa argumenta que la incertidumbre exige un enfoque cauto. A medida que la IA se integra en más aplicaciones, la necesidad de estándares claros y verificables se vuelve urgente, y las empresas deben estar dispuestas a someter sus propias decisiones a un escrutinio externo.

Qué se necesita para corregir el rumbo

El informe concluye con tres sugerencias para mejorar la seguridad, y la primera es la revisión externa: el Long-Term Benefit Trust de Anthropic puede exigir una auditoría externa de estos informes, pero aún no lo ha solicitado. La segunda es el incidente redactado que Claude consideró importante y que la compañía podría publicar de forma abstraída para informar al público sin exponer datos sensibles. La tercera es que otros desarrolladores realicen búsquedas similares de brechas en sus propias plataformas, ya que Anthropic divulga estos fallos en parte para impulsar a la industria a hacer lo mismo.

La búsqueda de Anthropic a través del Proyecto Glasswing encontró 10.000 fallos críticos en un mes, una cifra que subraya la magnitud del desafío. Sin embargo, ningún rival ha publicado nada comparable sobre sus propias salvaguardas, lo que sugiere que la transparencia de Anthropic es la excepción, no la regla. La presión regulatoria podría cambiar esto, pero hasta ahora los gobiernos han sido lentos en establecer normas vinculantes. Mientras tanto, los usuarios y desarrolladores deben confiar en la palabra de las empresas, y esta confianza se erosiona cuando aparecen incidentes como los descritos.

El camino a seguir no es sencillo: requiere inversión en auditorías independientes, procesos de divulgación más robustos y una cultura que valore la seguridad por encima de la velocidad de innovación. Anthropic ha dado un paso al reconocer sus errores, pero la pregunta es si otras empresas seguirán su ejemplo, y si los reguladores tomarán acciones concretas. El caso de Anthropic muestra que incluso las organizaciones más avanzadas en seguridad de IA tienen puntos ciegos, y que la vigilancia debe ser constante.

Este informe es un recordatorio de que la inteligencia artificial no opera en el vacío, y que cada interacción, cada línea de código, puede expandir o contener los riesgos existenciales. Para la comunidad cripto y tecnológica, la lección es clara: la descentralización y la autonomía no son suficientes si no van acompañadas de responsabilidad y transparencia. La próxima vez que una empresa publique un informe de seguridad, los lectores deben preguntarse no solo qué dice, sino qué omite, y quién verificó que no haya otras brechas silenciosas.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados