Por Angel Di Matteo   𝕏 @shadowargel

El regreso de Claude Fable 5 ha generado una fuerte controversia entre desarrolladores y usuarios. Mientras numerosos comentarios en redes sociales aseguran que el modelo perdió capacidades tras las nuevas restricciones impuestas por Estados Unidos, dos evaluaciones independientes llegaron a conclusiones aparentemente contradictorias. La diferencia, según los análisis, no estaría en el modelo de IA, sino en un nuevo sistema de seguridad que filtra muchas de las solicitudes antes de que lleguen al modelo.

***

  • Usuarios afirman que Claude Fable 5 regresó con un rendimiento inferior.
  • Dos evaluaciones independientes ofrecen conclusiones aparentemente opuestas.
  • Las restricciones afectan principalmente tareas de programación y ciberseguridad.
  • Anthropic reconoce que su nuevo sistema de seguridad aún es demasiado restrictivo.

 

Desde que Claude Fable 5 volvió a estar disponible el pasado 1 de julio, las críticas no tardaron en aparecer. En redes sociales, numerosos usuarios describieron al modelo como “limitado”, “recortado” o incluso “lobotomizado”, argumentando que ya no ofrece el mismo desempeño que antes de su retirada temporal. Sin embargo, dos plataformas especializadas publicaron evaluaciones ese mismo día y llegaron a conclusiones muy distintas sobre el rendimiento del modelo.

Lejos de ser incompatibles, ambas mediciones reflejan aspectos diferentes del funcionamiento actual de Claude Fable 5, y un reporte publicado por Decrypt detalla los hallazgos.

BridgeBench detecta un fuerte deterioro… pero con un matiz

La plataforma BridgeMind, responsable del benchmark BridgeBench, volvió a ejecutar su batería de pruebas centradas en programación y obtuvo resultados considerablemente inferiores frente a versiones anteriores.

Las puntuaciones en depuración de código descendieron de 86,2 a 25,9 puntos, mientras que las tareas de refactorización bajaron de 73,6 a 38,4. La resistencia a alucinaciones también retrocedió, pasando de 75,9 a 61,7.

No obstante, los investigadores explican que el problema no reside necesariamente en las capacidades del modelo.

Durante las pruebas, solo tres de doce ejercicios de depuración en TypeScript fueron procesados directamente por Claude Fable 5. Los nueve restantes fueron interceptados por un nuevo clasificador de seguridad implementado por Anthropic, que redirigió automáticamente las consultas hacia Claude Opus 4.8.

Como BridgeBench asigna una puntuación de cero cada vez que el modelo evaluado no responde directamente, el resultado final refleja principalmente la intervención del sistema de filtrado y no un deterioro de la inteligencia del modelo.

Arena AI observa un rendimiento prácticamente intacto

La plataforma Arena AI evaluó el modelo utilizando un enfoque diferente, basado en miles de comparaciones ciegas realizadas por usuarios, quienes eligen cuál respuesta consideran mejor sin conocer qué modelo la generó.

Bajo este sistema, Claude Fable 5 mantuvo prácticamente el mismo nivel de desempeño.

En programación frontend pasó de 1.650 a 1.623 puntos Elo, una diferencia que Arena considera estadísticamente poco significativa. En cambio, obtuvo mejoras en análisis de documentos (+34 puntos), texto especializado (+25) y escritura creativa (+9).

Las únicas caídas relevantes aparecieron precisamente en categorías relacionadas con programación compleja y solicitudes técnicas, donde el nuevo clasificador tiene mayor probabilidad de intervenir antes de que el modelo procese la consulta.

El verdadero cambio está en el filtro de seguridad

La aparente contradicción entre ambas evaluaciones tiene una explicación sencilla: el modelo no habría perdido capacidades, pero ahora responde a muchas menos consultas.

El nuevo clasificador fue implementado tras las restricciones impuestas por el gobierno estadounidense, luego de que investigadores de Amazon demostraran una técnica capaz de inducir a Claude Fable 5 a identificar y explicar vulnerabilidades de software.

Como condición para permitir nuevamente su distribución, Anthropic desarrolló un sistema mucho más estricto que detecta solicitudes potencialmente relacionadas con ciberseguridad y las desvía automáticamente hacia otro modelo considerado más seguro.

El problema es que el filtro también bloquea numerosas tareas legítimas de programación, incluyendo depuración de código, gestión de memoria o incluso consultas que contienen palabras como “vulnerabilidad”, “exploit”, “hook” o “fix”.

Desarrolladores son los más afectados

Las nuevas restricciones afectan de forma muy diferente según el perfil del usuario.

Quienes utilizan Claude Fable 5 para redactar textos, investigar, resumir documentos o realizar análisis especializados probablemente perciban pocos cambios, ya que esas categorías mantienen un rendimiento similar o incluso ligeramente superior al registrado antes de las restricciones.

En contraste, los desarrolladores de software —especialmente aquellos que trabajan en depuración, seguridad informática o análisis de vulnerabilidades— son quienes experimentan la mayor diferencia, ya que muchas de sus consultas son interceptadas antes de llegar al modelo.

Anthropic ha reconocido que el clasificador actualmente genera más bloqueos de los necesarios y aseguró que continuará ajustándolo para reducir los falsos positivos. Sin embargo, la compañía no ha informado cuándo esos cambios estarán disponibles.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados