Un benchmark basado en solicitudes reales muestra que los agentes de programación pueden resolver buena parte de una tarea, pero todavía dejan encargos incompletos con frecuencia: incluso el modelo mejor evaluado completó correctamente solo el 26,4% de las tareas.
***

• El mejor modelo atendió, en promedio, cerca del 70% de los requisitos, pero completó correctamente solo el 26,4% de las tareas.
• El rendimiento cayó cuando los encargos combinaron cambios de diseño, interacción y contenido, una mezcla habitual en proyectos reales.
• Las pruebas también encontraron que el entorno de trabajo del agente puede alterar de forma importante los resultados.

Agentes de IA aún dejan incompletas casi tres de cada cuatro tareas

Los agentes de programación con inteligencia artificial pueden resolver buena parte de un encargo de software, pero una nueva evaluación basada en solicitudes reales indica que todavía suelen dejar tareas incompletas. El modelo mejor puntuado cumplió, en promedio, cerca del 70% de los requisitos de cada tarea, aunque obtuvo un resultado completamente correcto en apenas el 26,4% de los casos. La diferencia importa para quienes esperan delegar proyectos completos, porque completar la mayoría de los pasos no equivale a entregar una aplicación lista para usar.

Una evaluación basada en solicitudes reales

El equipo de investigadores de Alibaba y varias universidades asiáticas creó Co-Design Bench para medir cómo se comportan los agentes al modificar aplicaciones web existentes. En vez de limitarse a ejercicios abstractos de programación, la prueba presenta solicitudes de usuarios que pueden incluir imágenes, grabaciones de audio, videos o documentos, y exige que el sistema traduzca esos materiales en cambios funcionales. El benchmark busca acercarse a encargos donde distintas partes de una aplicación deben actualizarse de forma coordinada.

El estudio Co-Design Bench reporta que GPT-6 Astra, el mejor de los diez modelos examinados, satisface alrededor del 70% de los requisitos en promedio. Sin embargo, solo completa correctamente el 26,4% de las tareas, una brecha que muestra cómo un agente puede avanzar en la mayor parte del trabajo y aun así fallar en algún detalle necesario. Para las personas que usan estas herramientas, el resultado sugiere que la revisión y el ajuste manual seguirían siendo parte habitual del proceso.

El benchmark reúne 273 tareas y 2.331 criterios de aceptación redactados por expertos, seleccionados a partir de 37.463 consultas depuradas provenientes de 26.314 solicitudes reales de programación, según la descripción del estudio. Los encargos incluyen desde cambios acotados hasta revisiones amplias de proyectos. Un ejemplo consiste en extraer un monto de un recibo y actualizar todos los totales que dependen de ese valor; en la pista multimodal, el agente también puede tener que interpretar tablas o videos y reflejar la información de manera consistente en distintas vistas. Así, la prueba no se limita a comprobar si el código compila, sino si el cambio solicitado aparece correctamente en la aplicación.

Los investigadores seleccionaron casos originados en sesiones reales de programación, con preferencia por solicitudes que llevaron a los usuarios a reformular lo que pedían varias veces o a revertir cambios. Esa selección concentra tareas que ya habían causado problemas a agentes de IA en situaciones prácticas, en lugar de presentar únicamente instrucciones limpias y directas. El método no representa todos los usos posibles de estas herramientas, pero pone el foco en dificultades observadas durante el trabajo cotidiano.

La brecha con los benchmarks tradicionales

Los autores sostienen que varias pruebas existentes se han saturado: cuando los modelos pueden ejecutar su propio código, verificarlo y corregirlo, algunos alcanzan puntuaciones superiores al 99%. En ese escenario, las diferencias entre sistemas se vuelven difíciles de medir, aunque sus resultados en encargos más complejos sigan siendo distintos. Co-Design Bench busca elevar la exigencia mediante cambios que deben funcionar dentro de aplicaciones ya construidas.

Según la comparación presentada por el equipo, en benchmarks anteriores como WebCompass-edit los modelos agénticos alcanzan resultados casi perfectos, mientras que Co-Design Bench deja una brecha superior a 35 puntos porcentuales. La diferencia no demuestra por sí sola que las pruebas anteriores carezcan de valor, pero sí indica que medir tareas más cercanas al mantenimiento de un proyecto puede ofrecer otra imagen de las capacidades de los agentes. La puntuación depende, en parte, de qué tipo de trabajo se les pide.

La evaluación aplica un criterio estricto para otorgar crédito. Un juez de IA prueba en un navegador la aplicación resultante y otro sistema vuelve a revisar cada veredicto positivo, buscando también maquetas o resultados codificados de forma fija en vez de funciones que respondan realmente a la solicitud. De esta manera, una apariencia convincente no basta si la característica no opera como debería.

Ese diseño vuelve más exigente la comparación con pruebas que pueden premiar una solución superficial o acotada. También implica que los resultados dependen de la capacidad de los jueces automatizados para evaluar correctamente la aplicación, una limitación que los propios investigadores reconocen. La cifra de tareas completamente resueltas debe leerse, por tanto, junto con las condiciones y el método empleados para calificar cada resultado.

Los cambios combinados siguen siendo un obstáculo

Detrás de GPT-6 Astra, Claude Opus 5 y Qwen3.8-Max ocuparon los siguientes puestos, mientras que Grok 4.6 quedó en último lugar entre los diez modelos. El orden no se mantuvo igual en todos los tipos de encargo: en revisiones más grandes, el modelo más pequeño Qwen3.8-27B subió al segundo puesto. Los autores no interpretan ese resultado como una ventaja general del modelo, sino como una variación que depende de la tarea evaluada.

El rendimiento disminuyó para todos los modelos cuando una solicitud combinaba más clases de cambios, como diseño, interacción y contenido. Ese patrón resulta relevante porque los proyectos de software reales suelen mezclar varias necesidades en un mismo encargo, en lugar de pedir una modificación aislada. La dificultad no consiste solamente en escribir más código, sino en mantener coherentes las distintas partes de la aplicación mientras se realizan cambios simultáneos.

El cómputo adicional tampoco corrigió de forma clara esa debilidad. En cambios más pequeños, GLM-5.2 utilizó casi seis veces más tokens que GPT-6 Astra y, aun así, obtuvo una puntuación significativamente inferior. El dato muestra que consumir más recursos durante la ejecución no garantiza una solución mejor, aunque la prueba no permite concluir que el gasto de cómputo nunca ayude en otras tareas o configuraciones.

GPT-6 Astra encabezó tanto la pista multimodal como la de repositorios, pero sus tasas de resolución completa fueron distintas: 41% en las tareas multimodales y apenas 18% en las tareas de repositorio. Esas cifras matizan su liderazgo, ya que el primer puesto entre los modelos no significa que el sistema resuelva de manera fiable la mayoría de los encargos. También muestran que el tipo de tarea puede cambiar sustancialmente la probabilidad de obtener una entrega sin errores pendientes.

El entorno también modifica los resultados

En una evaluación separada, los investigadores ejecutaron los mismos modelos con distintos harnesses, es decir, los programas que permiten al agente leer, escribir y ejecutar código. Qwen3.8-27B obtuvo 75 o 56 en revisiones más grandes, según el entorno utilizado. La diferencia evidencia que el resultado no depende exclusivamente del modelo: también influye la herramienta que organiza su interacción con el código y la ejecución de tareas.

Además, cuál de los dos modelos quedaba adelante podía cambiar de un entorno a otro. Por eso, una tabla que enumera únicamente el nombre del modelo ofrece información incompleta sobre su desempeño, según los autores. Para las empresas que evalúan agentes de programación, la implicación práctica es probar el modelo junto con el harness específico con el que planean utilizarlo, en lugar de asumir que una clasificación se trasladará automáticamente a cualquier configuración.

Co-Design Bench también tiene límites: evalúa una solicitud fija por tarea y no incorpora preguntas de seguimiento ni correcciones que el usuario haga a mitad del trabajo. Los jueces automatizados pueden equivocarse, y la evaluación de un cambio puntual no reproduce todas las conversaciones que pueden surgir durante un proyecto. Estas restricciones no anulan el resultado, pero acotan lo que permite afirmar sobre el uso de agentes en situaciones reales.

La nota de THE DECODER también pone los resultados en relación con un estudio de METR, que encontró que la tasa real de aceptación del código generado por IA por parte de líderes de proyecto fue aproximadamente 24 puntos porcentuales menor que las puntuaciones de SWE-bench Verified, una prueba ampliamente utilizada. Además, defectos en entornos de evaluación pueden permitir que un agente apruebe sin haber resuelto realmente el encargo. Otro estudio reciente citado por la publicación halló poco beneficio medible de harnesses más elaborados, pese a que consumieron hasta tres veces más tokens, una observación que refuerza la necesidad de evaluar cada configuración con cautela.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín