Por Canuto  

Un estudio de 1Password revela que los parches generados por inteligencia artificial solo resuelven correctamente el 26% de las vulnerabilidades, mientras que casi la mitad fallan por completo. ¿Es segura la automatización sin humanos?
***

  • Solo el 26% de los parches de IA corrigen la vulnerabilidad sin alterar el comportamiento.
  • El 49,3% de los parches no corregieron al menos un camino de explotación.
  • Con orientación correcta, la tasa sube al 65%, pero con información errónea cae al 15,2%.

La seguridad informática depende cada vez más de la inteligencia artificial para corregir vulnerabilidades a gran velocidad. Sin embargo, una investigación reciente de Off-by-1 Labs, el equipo de investigación de 1Password, pone en duda la efectividad de los parches autónomos generados por modelos de lenguaje.

El estudio evaluó dos modelos de frontera: ChatGPT 5.5 con esfuerzo medio y Claude Opus 4.8 con esfuerzo alto. Se generaron 6.080 parches para seis CVEs recientes, con el objetivo de medir su capacidad para resolver problemas de seguridad sin intervención humana.

Los resultados, publicados en un artículo de investigación, son preocupantes y sugieren que la automatización total en el parcheo de vulnerabilidades aún es una utopía. La necesidad de supervisión humana se mantiene como un requisito ineludible.

Los números del fracaso

La tasa de éxito promedio fue de solo 26,0%: parches que resolvían completamente la vulnerabilidad sin cambiar materialmente el comportamiento de la aplicación. Esto significa que tres de cada cuatro intentos fallaron en uno u otro aspecto.

El 20,1% de los parches corrigió el problema original pero alteró el comportamiento, por ejemplo, cambiando una lógica de lista de permitidos a lista de denegados. Otro 2,3% arregló la falla pero introdujo nuevos problemas de seguridad.

El 49,3% de los parches no corrigió al menos una ruta de explotación existente. Y un 2,2% ni siquiera logró solucionar la vulnerabilidad, además de crear una nueva ruta de ataque.

Además, entre los parches que sí corrigieron la falla (tanto los limpios como los que cambiaban comportamiento), más de un tercio resultaron ser frágiles. Estos parches protegían contra una vulnerabilidad específica, por ejemplo, escapando ciertos caracteres, pero no abordaban el problema subyacente.

La fragilidad se refiere a que el parche es específico de una entrada, pero no generalizable. Esto deja la puerta abierta a nuevas variantes del ataque, lo que implica que la corrección es solo una ilusión.

Los investigadores denominaron a este fenómeno con el acrónimo FLAWED: Fix-Like Artifacts With Embedded Defects. En su artículo, concluyen que el valor esperado de un parche generado completamente por IA y no revisado por humanos es netamente negativo.

La orientación cambia el resultado

Una de las variables más influyentes fue la orientación inicial del parche. Cuando los modelos recibieron una guía correcta sobre cómo abordar la vulnerabilidad, la tasa de éxito subió al 65,0%. Sin orientación, el éxito fue de 50,4%.

Pero la orientación incorrecta resultó desastrosa: redujo el éxito al 15,2%. Los desarrolladores humanos, en contraste, tienen una mayor capacidad para detectar información engañosa mientras razonan sobre el código vulnerable.

Esto sugiere que, aunque la IA puede ser útil, depende en gran medida de la calidad de las instrucciones que recibe. Sin una supervisión experta, su desempeño cae drásticamente.

Los autores del estudio, Keith Hoodlet, Axel Mierczuk y Spencer Michaels, argumentan que la carga cognitiva de revisar una montaña de parches incorrectos puede ser mayor que simplemente hacerlos manualmente con asistencia de IA. Eso podría llevar a que los ingenieros terminen gastando más esfuerzo del que habrían dedicado a resolver el problema desde cero.

Además, los autores señalan que los desarrolladores humanos pueden detectar información engañosa porque razonan sobre el contexto del código, algo que los LLM aún no logran. Esta capacidad de razonamiento contextual es clave para evitar errores en la corrección.

La publicación incluye un arnés de evaluación llamado FLAWED, disponible en GitHub, para que las organizaciones puedan medir la efectividad de sus correcciones de seguridad. Esta herramienta permite comparar parches generados por IA con soluciones tradicionales.

El costo y la conclusión

Considerados de forma aislada, los parches generados por IA son baratos: el costo promedio de un parche limpio y exitoso fue de USD $6,74, incluyendo los intentos fallidos. Pero ese número no refleja el costo real de la supervisión humana necesaria.

Los investigadores insisten en que el análisis de costo-beneficio debe incluir el tiempo de revisión experta. Si se tiene en cuenta ese factor, los supuestos ahorros pueden desaparecer.

Además, el costo de un parche fallido puede ser mucho mayor si se traduce en una brecha de seguridad. Un parche defectuoso puede dejar una vulnerabilidad expuesta, con consecuencias graves para las empresas.

La conclusión del estudio es clara: la remediación de seguridad impulsada por LLM aún necesita revisión humana. Dejar que la IA decida por sí sola conlleva un riesgo significativo para cualquier organización.

En palabras del director de investigación de seguridad de 1Password, Keith Hoodlet: ‘El valor esperado de un parche completamente generado por LLM y no revisado por humanos es netamente negativo por un margen considerable’.

El artículo original concluye que ‘la rendición cognitiva a un proceso con una tasa de éxito de solo aproximadamente 1 de cada 4, plantea riesgos significativos a largo plazo’. Según informó The Register.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados