Un estudio sobre agentes de IA encontró que registrar las razones, cambios y resultados de optimizaciones anteriores ayuda a continuar la mejora cuando cambian las tareas o el modelo. En diez pruebas de programación, la memoria elevó el resultado final en un promedio de 2,36 puntos frente a continuar sin ese historial.
***
- La memoria SIM conserva diagnósticos, modificaciones, predicciones y resultados para orientar nuevos ajustes del agente.
- En diez continuaciones de programación, SIM superó a la optimización sin memoria en nueve casos, con una ventaja media de 2,36 puntos.
- Los autores advierten que la mayoría de los dominios tuvo una sola ejecución por condición, por lo que esos resultados son descriptivos.
La memoria que permite a los agentes de IA mejorar sin empezar de cero
Un sistema que recuerda por qué modificó un agente de inteligencia artificial y qué resultado obtuvo con cada cambio puede adaptarse mejor cuando enfrenta tareas nuevas. Esa es la propuesta central de un estudio de Xin Yu y otros investigadores afiliados a Google Cloud AI y la Universidad Estatal de Pensilvania, que evaluó una memoria estructurada para continuar la optimización de agentes sin repetir a ciegas los intentos anteriores.
El trabajo, titulado Self-Improvement Memory Enables Continual Recursive Self-Improvement, reporta mejores puntuaciones para esa memoria en diez comparaciones entre tareas o modelos. En una serie de pruebas de programación, la ventaja promedio fue de 2,36 puntos frente a continuar la optimización desde el mismo agente, pero sin conservar el registro de mejoras previas.
Una memoria para mejorar el sistema que rodea al modelo
Los autores distinguen entre el modelo de política, que interpreta las tareas y produce respuestas o acciones, y el armazón de software que organiza su contexto, herramientas y ejecución. El estudio no actualiza los pesos del modelo: optimiza ese armazón, conocido como harness, mediante propuestas de cambios que luego se ejecutan y evalúan. El enfoque importa porque un agente puede fallar no solo por lo que sabe el modelo, sino también por cómo el sistema le permite usar herramientas o decidir cuándo terminar.
La optimización recursiva de armazones ya permite que un sistema proponga modificaciones, mida su efecto y conserve algunas para la siguiente ronda. Sin embargo, cuando cambia el conjunto de tareas o el modelo que ejecuta el agente, el código optimizado por sí solo no necesariamente explica por qué se introdujo una función ni si resolvió el problema previsto. Esa falta de contexto puede llevar al optimizador a descartar mecanismos útiles, repetir intentos fallidos o aplicar sin cambios una solución que ya no corresponde.
Para abordar ese desafío, el equipo plantea la mejora recursiva continua, o CRSI, en la que la optimización prosigue después de cambiar el benchmark o el modelo, siempre que el armazón conserve una interfaz ejecutable compatible. La memoria de auto-mejora, denominada SIM, acompaña al armazón y agrupa las modificaciones según el problema que intentan resolver. Cada registro reúne el diagnóstico, la justificación del cambio, las tareas que se esperaba corregir, los resultados observados y el contexto de evaluación.
El sistema entrega esos registros tanto al agente que propone modificaciones como al que las selecciona. Después de evaluar una propuesta, conserva la elegida y añade sus resultados, incluso si no corrige las fallas previstas o si empeora el desempeño. El equipo indica que el optimizador recibe todos los registros, sin recuperación selectiva ni truncamiento, y que las puntuaciones de los conjuntos reservados para evaluación no se incorporan al ciclo de mejora.
Resultados en tareas, modelos y pruebas de programación
En seis transiciones entre conjuntos de datos, la versión con la memoria completa terminó por encima de la continuación con el mismo armazón evolucionado, pero sin SIM. La diferencia frente a ese control osciló entre 2,43 y 4,35 puntos; los dominios evaluados incluyeron programación, clasificación de texto, tareas de oficina y diseño de ingeniería. La comparación también mostró que guardar únicamente las causas raíz, sin el historial de cambios y resultados, produjo efectos mixtos y no alcanzó a la memoria completa.
Los investigadores también probaron transferencias entre familias de modelos, con Claude Opus 5.5 en la fase inicial y Gemini 3.8 Flash durante la continuación. En los cuatro dominios, la memoria completa finalizó por encima de la continuación sin memoria, con diferencias de entre 3,60 y 11,33 puntos. En las tareas de oficina, por ejemplo, ambas alternativas comenzaron con una puntuación de 68,41, pero la continuación con SIM llegó a 84,75 y la que no conservó el historial terminó en 73,42.
Una evaluación aparte siguió la optimización a través de varias generaciones de modelos Gemini en Terminal-Bench 2.1. La continuación con memoria superó a una nueva optimización desde el armazón inicial en Gemini 3.5 Flash y Gemini 3.8 Flash, aunque quedó 0,8 puntos por debajo en Gemini 4 Argon. Ese resultado impide presentar la transferencia como una mejora garantizada en cada paso: el desempeño dependió del modelo y de la transición concreta.
El análisis de un armazón compartido por Grok 4.20 Reasoning, Claude Opus 5.5 y Gemini 3.8 Flash encontró que una síntesis conjunta de resultados alcanzó 75,24 puntos en datos reservados, frente a 75,20 de armazones optimizados por separado para cada modelo. El armazón inicial compartido registró 73,28 puntos en esa misma medición, mientras que la continuación secuencial llegó a 74,20. Los autores describen estos valores como resultados de una prueba específica, no como evidencia estadística de equivalencia entre métodos.
La evidencia más sólida sobre variación entre ejecuciones proviene de diez pares de pruebas de programación. En cada par, el equipo partió del mismo armazón optimizado en Terminal-Bench 2.1 y continuó la mejora para Terminal-Bench 4 con o sin memoria, manteniendo iguales el modelo, las tareas y los presupuestos de rondas y propuestas. SIM obtuvo una puntuación final superior en nueve de los diez pares; el promedio fue de 21,70 puntos frente a 19,33 sin memoria, una ventaja de 2,36 puntos, con un valor p de 0,003.
Qué recuerda y qué límites reconoce el estudio
Los ejemplos del artículo muestran por qué el historial puede ser relevante cuando cambian los criterios de éxito. En una tarea de programación, el armazón había incorporado un mecanismo para impedir que el agente declarara terminada una tarea sin evidencia de que los comandos se ejecutaron correctamente. Al pasar a un problema de optimización, esa protección no bastaba: el agente podía producir una solución factible, superar las comprobaciones de restricciones y, aun así, detenerse antes de buscar una solución de mejor calidad.
La memoria ayudó a conservar la razón del mecanismo original y a plantear nuevas comprobaciones para el objetivo del benchmark de destino. Pero el caso también expone una dificultad: dos cambios aceptados para corregir el problema de calidad de la solución no lograron resolver las tareas que habían predicho. El armazón final conservó algunas alertas sobre la diferencia entre factibilidad y optimalidad, mientras que una modificación que bloqueaba la finalización fue cambiada posteriormente; SIM mantuvo registro de esos intentos y de sus resultados.
En otro ejemplo, el historial agrupó cambios dirigidos a evitar que entregables internamente correctos incumplieran el formato o el contrato que esperaba el verificador. Una modificación de origen corrigió una de cuatro tareas previstas; dos intentos añadidos durante la continuación resolvieron cero de dos y una de dos tareas, respectivamente. Para los autores, conservar diagnósticos y resultados permite que rondas futuras distingan entre una hipótesis útil y una intervención que todavía no ofrece la corrección esperada.
La investigación tiene límites que moderan el alcance de sus conclusiones. Aunque los autores compararon varios dominios y realizaron diez repeticiones independientes en programación, en los demás dominios ejecutaron una sola optimización completa por condición; allí, las diferencias sirven como descripción de los casos observados, no como una medida amplia de variación entre ejecuciones. Además, mantuvieron fijos los procedimientos de propuesta y selección, y estudiaron transiciones donde el armazón seguía siendo compatible con el entorno de destino.
El resultado apunta a una forma de continuidad para agentes cuya mejora ocurre en su arquitectura de ejecución y no mediante cambios en los pesos del modelo. SIM no garantiza que cada ajuste heredado siga funcionando: ofrece evidencia para decidir si conviene conservarlo, revisarlo, reemplazarlo o retirarlo. Los autores proponen ampliar las pruebas con más ejecuciones independientes y secuencias más largas de transiciones, además de explorar cambios en la planificación, el presupuesto de tokens y las interfaces de herramientas.
Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.
Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.
ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.
Suscríbete a nuestro boletín
Artículos Relacionados
Estados Unidos
Trump lanzó la Misión Génesis para acelerar la ciencia con inteligencia artificial
Bitcoin
Bots de Bitcoin atacaron en segundos una wallet vulnerable tras detectar claves expuestas
Empresas
OpenAI y Anthropic respaldan un llamado para moderar el avance de la IA
IA
