Agentes de IA no saben cuánto tiempo trabajan y sobrestiman sus tareas

Un estudio con Claude Code y Codex muestra que los agentes de programación sobrestiman la duración de sus tareas, desconocen cuánto tiempo llevan trabajando y suelen calificar con demasiada generosidad sus propios resultados.
***

• Claude Code y Codex estimaron cerca de 90 minutos para la mayoría de las tareas de ProgramBench, sin importar su dificultad.
• En un conjunto adicional de pruebas, Claude se equivocó por tres veces en promedio y Codex por entre seis y diez veces.
• Los agentes mejoraron casi siempre cuando recibieron una herramienta capaz de informarles el tiempo transcurrido.

Los agentes de inteligencia artificial que ayudan a programar todavía tienen una limitación básica: no comprenden de forma fiable cuánto dura una tarea ni cuánto tiempo llevan ejecutándola. Esa conclusión surge de un estudio realizado por dos investigadores independientes como parte del programa de investigación MATS, quienes probaron a Claude Code, de Anthropic, y Codex, de OpenAI, en ejercicios diseñados para medir su percepción temporal.

El hallazgo adquiere relevancia porque estos sistemas ya pueden trabajar durante períodos prolongados, tomar decisiones intermedias y modificar código sin supervisión constante. Sin embargo, un agente que no distingue entre cinco minutos y varias horas puede incumplir instrucciones con límites temporales, informar avances engañosos o resultar difícil de controlar en trabajos de larga duración.

Los agentes fallan al predecir la duración

Antes de comenzar cada ejercicio, los investigadores pidieron a los agentes que calcularan cuánto tiempo necesitarían para completar la tarea. Después de finalizar, les solicitaron que estimaran cuánto tiempo había transcurrido, con el objetivo de comparar sus predicciones y su percepción retrospectiva con la duración real de la ejecución.

El material incluyó 200 tareas de una colección llamada ProgramBench, además de 18 tareas adicionales creadas por los propios investigadores. Según los resultados descritos por The Decoder, ambos asistentes tendieron a sobrestimar de manera sistemática el tiempo necesario, y en ProgramBench ofrecieron estimaciones cercanas a 90 minutos para la mayoría de los ejercicios, sin importar su dificultad.

Las diferencias fueron todavía más amplias en la segunda ronda de pruebas. Claude se equivocó por tres veces en promedio, mientras que Codex registró errores de entre seis y diez veces respecto del tiempo real, un desempeño especialmente deficiente cuando las tareas terminaban en períodos breves.

Las predicciones solo se aproximaron a la realidad cuando los trabajos duraron varias horas. La brecha observada sugiere que los modelos no cuentan con una representación interna estable del tiempo, sino que producen estimaciones influenciadas por la complejidad aparente de la instrucción, el contexto y la configuración que les permite actuar.

El entorno de software cambia el resultado

El estudio también encontró que un mismo modelo puede comportarse de manera muy distinta según el entorno de software que lo acompaña. Claude Code continúa trabajando hasta considerar que la tarea está terminada y alcanzó una mediana de ejecución de aproximadamente 90 minutos, mientras Codex suele detenerse después de cerca de media hora, casi sin importar el ejercicio.

Ese componente externo, conocido en la industria como harness, organiza las herramientas, los permisos, los ciclos de acción y las condiciones bajo las cuales opera el modelo. Por esa razón, el tiempo de ejecución no depende únicamente del sistema de lenguaje: también refleja las decisiones del software que supervisa y estructura su trabajo.

Los investigadores calcularon que el mismo modelo de lenguaje realiza, en promedio, 2,5 veces más pasos cuando funciona dentro de Claude Code que cuando opera en Codex. La diferencia ayuda a explicar por qué las respuestas sobre duración pueden cambiar radicalmente, incluso cuando el modelo subyacente recibe tareas parecidas.

Para los usuarios, esta variabilidad introduce un riesgo operativo que va más allá de una simple estimación equivocada. Un agente configurado para continuar hasta completar una tarea podría consumir horas de trabajo, mientras otro diseñado para detenerse antes podría abandonar un ejercicio sin resolverlo, aunque ambos presenten mensajes de progreso con aparente seguridad.

La autoevaluación también resulta poco fiable

La dificultad no se limita al sentido del tiempo. Los agentes también mostraron problemas para juzgar la calidad de sus propios resultados, ya que los modelos más antiguos mencionados en el estudio, Opus 4.8 y GPT-5.5, sobrestimaron sus calificaciones en 20 puntos porcentuales en promedio.

Además, esos sistemas tendieron a concederse puntuaciones elevadas incluso cuando las tareas habían fracasado. En un caso citado por los investigadores, ambos calcularon que su trabajo había alcanzado un nivel de éxito cercano al 70%, aunque las evaluaciones reales fueron de 7% y 14,5%.

La diferencia entre la confianza del agente y su desempeño real puede complicar la supervisión humana. Si un sistema informa que una tarea está casi resuelta cuando las pruebas muestran lo contrario, el operador podría dedicar menos tiempo a revisar el código y detectar tarde un error que afecta todo el resultado.

Los gráficos difundidos por los investigadores ilustran la magnitud de la brecha: los puntos ubicados por encima de la diagonal representan sobrestimaciones, con referencias que muestran promedios de aproximadamente tres veces el tiempo real para Fable 5 y de unas siete veces para GPT-5.6 Sol. Esas etiquetas corresponden a los resultados presentados en el material del estudio y, especialmente en las tareas cortas, muestran una separación amplia entre la predicción y la ejecución.

Un reloj externo puede mejorar el control

La capacidad para medir el tiempo es importante cuando un usuario pide a un agente que repita un proceso durante un período concreto. Instrucciones como itera en esta tarea durante dos horas requieren que el sistema conozca el tiempo transcurrido o, al menos, pueda consultarlo de manera consistente durante su ciclo de trabajo.

Un agente que calcula mal la duración puede detenerse demasiado pronto, continuar mucho después del límite o distribuir sus esfuerzos de forma ineficiente. El problema se vuelve más delicado en tareas largas porque la supervisión humana disminuye, mientras aumentan los costos de cómputo, la posibilidad de acumular errores y la distancia entre el objetivo inicial y la decisión final.

Los resultados, no obstante, apuntan a una solución relativamente directa. Cuando los agentes tuvieron acceso a una herramienta que les informaba el tiempo transcurrido, siguieron casi siempre de forma correcta las indicaciones relacionadas con una duración establecida, lo que indica que la falla está vinculada a la ausencia de una referencia temporal fiable más que a una incapacidad absoluta para obedecer límites.

Los autores planean probar a continuación si los agentes pueden adherirse de manera estable a una duración de trabajo previamente fijada. Hasta que esas capacidades mejoren, la medición externa del tiempo, los límites de ejecución y la verificación independiente de resultados seguirán siendo controles esenciales para cualquier sistema que opere durante horas sin intervención constante.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín