Por Canuto  

El modelo Mythos de Anthropic llegó rodeado de expectativas por su supuesta capacidad excepcional para descubrir fallas críticas en software. Pero tras un análisis sobre curl, uno de los proyectos en C más auditados del mundo, el balance fue mucho más sobrio: de cinco vulnerabilidades que la IA consideró confirmadas, el equipo humano solo validó una, y además de gravedad baja.
***

  • El análisis de Mythos sobre curl revisó 178.000 líneas de código en los directorios src/ y lib/.
  • La IA reportó cinco vulnerabilidades confirmadas, pero el equipo de seguridad de curl redujo el hallazgo a una sola CVE de baja gravedad.
  • Pese a cuestionar el hype alrededor de Mythos, el líder de curl sostiene que las herramientas de IA ya superan ampliamente a los analizadores tradicionales.

El modelo de inteligencia artificial Mythos, desarrollado por Anthropic y promocionado como especialmente eficaz para encontrar fallas de seguridad en código fuente, acaba de enfrentar una prueba relevante en uno de los proyectos más revisados del ecosistema open source. El resultado fue bastante menos explosivo de lo que sugería el discurso inicial alrededor de esta tecnología.

Daniel Stenberg, principal desarrollador de curl, relató que el sistema fue usado para analizar el repositorio del proyecto y detectar vulnerabilidades potenciales. Sin embargo, tras la revisión humana del informe, el equipo de seguridad de curl concluyó que solo una de las cinco vulnerabilidades señaladas por la IA podía considerarse real, y además sería catalogada con gravedad baja.

La evaluación no implica que Mythos haya fracasado. De hecho, curl sí obtuvo un informe útil, con una lista amplia de errores y observaciones técnicas. Pero el episodio sí parece enfriar la narrativa de que este modelo represente un salto disruptivo, al menos en una base de código tan auditada como esta.

Un acceso prometido que terminó en análisis indirecto

Stenberg explicó que, como parte del acuerdo de Anthropic con project Glasswing, también se contempló ofrecer acceso al modelo a proyectos open source a través de la Linux Foundation. Esa parte quedó en manos de Alpha Omega, una iniciativa de la propia fundación enfocada en la seguridad de software crítico.

En ese contexto, el líder de curl fue contactado y aceptó la propuesta para acceder a Mythos. Firmó el contrato correspondiente, pero luego el acceso directo nunca se concretó. Tras varias semanas de espera y demoras, se le informó que había surgido un contratiempo en alguna parte del proceso.

Como alternativa, se le ofreció que una persona con acceso al modelo realizara por él el escaneo del código de curl y le enviara el informe resultante. Stenberg aceptó esa opción y dejó claro que, en la práctica, para él la diferencia no era tan importante, ya que su objetivo era obtener un análisis inicial de calidad más que experimentar personalmente con una gran variedad de prompts.

El responsable de curl también indicó que omitiría deliberadamente la identidad de quienes participaron en la ejecución del análisis, al considerar que ese detalle no era central para la discusión. Lo importante, dijo, era medir el desempeño del modelo frente a una base de código real, compleja y ya muy examinada.

Curl ya venía siendo escaneado por varias IA

El contexto es importante. Antes de este informe, curl ya había sido analizado con varias herramientas impulsadas por IA, además de los analizadores estáticos tradicionales, configuraciones exigentes de compilación y años de fuzzing continuo. Entre las herramientas mencionadas están AISLE, Zeropath y Codex Security de OpenAI.

Según Stenberg, esos sistemas de IA ayudaron a impulsar entre 200 y 300 correcciones de errores integradas en curl durante los últimos 8 a 10 meses. Una parte de esos hallazgos terminó siendo clasificada como vulnerabilidades reales y publicada como CVE. El texto menciona que probablemente fueron una docena o más.

También señaló que hoy el proyecto usa herramientas como GitHub Copilot y Augment Code para revisar pull requests. Sus observaciones no sustituyen a los revisores humanos, pero sí mejoran el proceso al detectar problemas antes de integrar cambios nuevos al repositorio.

Esta experiencia llevó a una conclusión más amplia: la seguridad del software ya está cambiando por el uso extendido de IA, tanto del lado defensivo como entre investigadores independientes. Para Stenberg, ya existe un flujo elevado de reportes de seguridad de alta calidad impulsados por estas herramientas.

El análisis de Mythos sobre 178.000 líneas

El informe de Mythos fue recibido el 6 de mayo de 2026. Analizó un commit reciente de la rama master de curl, concentrándose en los subdirectorios src/ y lib/, con un total de 178.000 líneas examinadas. El documento describía varios métodos y enfoques empleados para buscar posibles fallas.

Una observación destacada al inicio del reporte decía que curl es una de las bases de código en C más sometidas a fuzzing y auditoría de las que existen, con cobertura de OSS-Fuzz, Coverity, CodeQL y múltiples auditorías pagadas. A partir de eso, el sistema estimaba que hallar algo en rutas críticas como HTTP/1, TLS o el núcleo del parseo de URL sería poco probable.

Eso fue exactamente lo que ocurrió. Mythos no encontró problemas en esas zonas calientes. El análisis terminó enfocándose en áreas menos centrales, algo que ya sugiere que el rendimiento del modelo está condicionado por el estado previo del proyecto y por la calidad de las defensas ya desplegadas.

Stenberg dedicó una parte del texto a dimensionar el tamaño y la madurez del proyecto. Curl tiene hoy 176.000 líneas de código C si se excluyen líneas en blanco. El código fuente suma 660.000 palabras, lo que equivale a un volumen 12% mayor que toda la edición en inglés de War and Peace.

Además, cada línea de código de producción ha sido escrita y reescrita un promedio de 4,14 veces. El código actual en git master ha pasado por las manos de 573 personas diferentes, mientras que 1.465 colaboradores han logrado integrar cambios en el repositorio a lo largo del tiempo. Curl también ha publicado 188 CVE y, según Stenberg, está instalado en más de 20.000 millones de instancias, funcionando en más de 110 sistemas operativos y 28 arquitecturas de CPU.

De cinco vulnerabilidades confirmadas a una sola

El punto más llamativo del episodio fue la distancia entre el informe inicial de la IA y la validación posterior realizada por humanos. Mythos concluyó que había encontrado cinco “vulnerabilidades de seguridad confirmadas”. Stenberg ironizó con el uso del término “confirmadas” cuando la afirmación proviene solo del propio modelo.

Tras varias horas de revisión profunda por parte del equipo de seguridad de curl, la lista quedó reducida de manera drástica. Tres de los hallazgos eran falsos positivos, en realidad limitaciones ya documentadas en la API. Un cuarto caso fue reclasificado como un bug, pero no como vulnerabilidad de seguridad.

La única vulnerabilidad aceptada terminará convertida en una CVE de gravedad baja. Su divulgación está prevista para coincidir con el lanzamiento de curl 8.21.0, esperado para finales de junio de 2026. Stenberg no reveló detalles técnicos del fallo, precisamente para no anticipar información antes de la publicación coordinada.

Eso no significa que el resto del informe haya sido inútil. El documento también describía cerca de 20 bugs bien explicados, además de otros hallazgos que el sistema no clasificó como vulnerabilidades. Todos esos casos están siendo investigados y, cuando el equipo coincide con el diagnóstico, se corrigen uno por uno.

Marketing excesivo, pero utilidad real

La conclusión personal de Stenberg fue clara. A su juicio, el gran bombo alrededor de Mythos fue sobre todo marketing. Dijo no ver evidencia de que esta configuración encuentre problemas en una proporción particularmente superior o más avanzada que otras herramientas usadas antes sobre curl.

No descartó que el modelo pueda ser algo mejor en ciertos casos, o incluso mucho mejor en otros repositorios. Pero al menos en esta evaluación concreta, no observó un salto que justifique la idea de un cambio radical en el análisis de código. En otras palabras, la tecnología parece útil, pero no milagrosa.

Aun así, evitó caer en una descalificación simplista. Reiteró que los analizadores de código basados en IA son significativamente mejores encontrando fallas de seguridad y bugs que los analizadores tradicionales del pasado. Para él, todos los modelos modernos son ya bastante buenos en esta tarea.

Su advertencia para el ecosistema open source y empresarial fue directa: cualquier proyecto que todavía no haya escaneado su código con herramientas de IA probablemente descubrirá una gran cantidad de errores, bugs y vulnerabilidades potenciales cuando lo haga. No usarlas, sostuvo, equivale a dejar tiempo y oportunidad a adversarios y atacantes.

Qué aporta la IA al análisis de seguridad

Entre las ventajas específicas que Stenberg atribuye a estas herramientas, destaca su capacidad para detectar contradicciones entre comentarios y comportamiento real del código. También pueden revisar configuraciones o plataformas donde no siempre es fácil correr herramientas clásicas de análisis.

Otro punto relevante es que los modelos suelen “conocer” APIs de bibliotecas de terceros, lo que les permite identificar mal uso o supuestos equivocados. Del mismo modo, pueden razonar sobre protocolos implementados por curl y cuestionar decisiones del código que parezcan contradecir una especificación.

Además, suelen ser útiles para resumir y explicar el problema encontrado, una tarea que históricamente ha sido tediosa con herramientas antiguas. En algunos casos, incluso pueden proponer parches iniciales, aunque Stenberg aclara que esas soluciones rara vez son perfectas y suelen requerir trabajo adicional.

El informe de Mythos incluyó una nota metodológica que también ayuda a entender su enfoque. La revisión se hizo mediante análisis guiado manualmente con subagentes LLM para lecturas paralelas de archivos, y cada candidato fue reverificado mediante inspección directa del código fuente en la sesión principal antes de ser registrado. No se usó una herramienta SAST automatizada.

El texto añade que no se encontraron vulnerabilidades de seguridad de memoria, un dato importante en un proyecto escrito en C. Según Stenberg, eso es coherente con el nivel de endurecimiento de curl, que cuenta con varias barreras defensivas distribuidas por toda la base de código.

La IA encuentra más de lo conocido, no algo totalmente nuevo

Otro matiz importante de la reflexión es que estas herramientas, por ahora, no están descubriendo clases de vulnerabilidades radicalmente nuevas. Lo que hacen, dice Stenberg, es encontrar nuevas instancias de tipos de errores que el sector ya conoce desde hace tiempo.

Eso no es menor. Aunque no reinventen la disciplina, sí están logrando desenterrar más problemas que cualquier generación previa de herramientas. En seguridad, esa capacidad de ampliación masiva ya es transformadora, incluso sin una nueva taxonomía de fallos.

Stenberg también subrayó que esto está lejos de haber terminado. Mientras preparaba su texto, el proyecto seguía recibiendo nuevos reportes de investigadores sobre problemas sospechosos. El ecosistema de seguridad asistida por IA, dijo, continuará mejorando a medida que los modelos evolucionen y los especialistas aprendan a interrogarlos mejor.

Por eso, su expectativa es seguir sometiendo curl a nuevos escaneos con Mythos y con otras IA una y otra vez, hasta que realmente dejen de encontrar problemas nuevos. Esa meta todavía no se ha alcanzado.

La historia deja una conclusión doble. Por un lado, el caso de curl rebaja la narrativa apocalíptica o casi mágica que rodeó a Mythos. Por otro, confirma algo más práctico y posiblemente más importante: la IA ya es una herramienta seria y efectiva para la seguridad de software, incluso cuando no cumple con el marketing que la precede.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados