Por Canuto  

Terminal-RSI propone un ciclo en el que agentes de IA reescriben trayectorias verificadas y refinan sus políticas para avanzar desde reparaciones parciales hasta la comprobación final de una tarea. Sus autores reportan mejoras en varios bancos de pruebas, aunque los resultados de LHTB también muestran que la finalización estricta sigue siendo un desafío.
***

  • El sistema alterna dos fases: reescribe trayectorias verificadas y refina la política del agente con apoyo de un crítico.
  • La versión Terminal-RSI-27B obtuvo 19,84% en Terminal-Bench 4.0 y 79,00% en Terminal-Bench Hard.
  • En LHTB, la finalización estricta pasó de 0/46 a 5/46, mientras que el éxito en SWR100 subió de 3,00% a 6,00%.

Un agente capaz de ejecutar comandos en una terminal puede avanzar en una tarea sin completarla: quizá resuelva una parte, pero no llegue a la verificación final que exige el objetivo. Para atender ese problema, Junyao Yang y sus coautores presentan Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine, un método que combina la reescritura de trayectorias con el refinamiento de la política del agente. El trabajo reporta progresos en distintos bancos de pruebas, aunque sus cifras también muestran que completar estrictamente todas las tareas continúa siendo difícil.

La propuesta parte de dos obstáculos relacionados: convertir las evaluaciones de un verificador en cambios útiles para la política del agente y transformar un avance parcial en una solución completa. En lugar de depender de una sola actualización, Terminal-RSI organiza varias etapas de refinamiento y transfiere el aprendizaje entre ellas. El resumen del estudio describe el enfoque como un acoplamiento recursivo de comportamientos descubiertos y revisiones sucesivas, con la intención de consolidar los avances antes de pasar a la siguiente fase.

Un ciclo de reescritura y refinamiento

La primera pieza del método se llama Recursive Self-Rewrite (RSR), o reescritura recursiva de sí mismo. En esta fase, el agente trabaja con trayectorias que el sistema considera verificadas y las reescribe como parte del proceso de mejora. La segunda pieza, Recursive Policy-Refine (RPR), modifica la política del agente y hereda el crítico utilizado en el ciclo. Así, el método no trata la revisión de una trayectoria y el ajuste de la política como operaciones aisladas, sino como fases conectadas.

La secuencia presentada comprende cinco etapas en total: parte del modelo base Qwen3.8-27B y continúa con RSR-1, RPR-1, RSR-2 y RPR-2, hasta llegar a Terminal-RSI-27B. Las cuatro etapas sucesivas alternan las dos fases descritas para consolidar lo aprendido y seguir refinando el comportamiento. Según los autores, la lógica de esa progresión es llevar al agente desde reparaciones locales parciales hacia una verificación terminal estricta, sin afirmar que cada tarea queda resuelta automáticamente.

El diseño incorpora mecanismos específicos para tratar la información de entrenamiento. Turn-Boundary Skip-Observation GAE (TB-GAE) mantiene líneas base específicas por token y aplica decaimiento entre turnos de interacción; Family Dense Reward (FDR) calibra el progreso semántico entre familias de tareas. Por su parte, Success-Prioritized Reward (SPR) separa el éxito estricto del crédito parcial acotado, una distinción relevante cuando una ejecución muestra progreso pero no satisface por completo el criterio de finalización.

El esquema también usa un modelo crítico de calentamiento, transferencia recursiva del crítico y tasas de aprendizaje específicas para cada etapa. El resumen del estudio atribuye a estos componentes la coordinación de las dos fases, aunque no detalla en el material proporcionado cuánto aporta cada uno por separado. En conjunto, el planteamiento busca que la señal del verificador no se limite a indicar si hubo éxito o fracaso, sino que ayude a orientar el refinamiento sin confundir progreso parcial con una tarea terminada.

Los resultados en los bancos de pruebas

Terminal-RSI-27B registró 19,84% en Terminal-Bench 4.0, 86,52% en Terminal-Bench 2.1 y 16,95% en Terminal-Bench 3.0, además de 79,00% en Terminal-Bench Hard. Los autores presentan estos datos como resultados de la secuencia de cinco etapas que parte de Qwen3.8-27B. Las cifras corresponden a bancos de pruebas distintos y deben leerse por separado: el resumen no ofrece una métrica única que permita combinarlas en una puntuación general de desempeño.

En LHTB, la recompensa de proceso subió de 0,21 a 0,37, mientras que la finalización estricta avanzó de 0/46 a 5/46. La distancia entre ambas métricas importa para interpretar el resultado: una mayor recompensa de proceso refleja progreso bajo esa evaluación, pero no equivale por sí misma a completar las tareas según el criterio estricto. El estudio destaca precisamente esa transición desde mejoras parciales hacia la verificación terminal, y el conteo muestra que el avance no eliminó la brecha.

En SWR100, el éxito pasó de 3,00% a 6,00%, es decir, se duplicó según los porcentajes reportados por los autores. Ese crecimiento ofrece otra señal de mejora entre las mediciones comparadas, pero el nivel final también indica que el éxito sigue siendo minoritario en esa prueba. El dato no permite concluir que el método duplicará resultados en otras tareas o configuraciones, pues el resumen no presenta esa extrapolación ni aporta cifras para sostenerla.

En conjunto, los indicadores dibujan un panorama desigual: Terminal-RSI alcanza porcentajes altos en algunas pruebas y avances cuantificables en otras, pero el resultado de LHTB conserva una proporción limitada de finalizaciones estrictas. Esa combinación hace importante distinguir entre el desempeño en cada banco y la afirmación general de que un agente mejora. El trabajo propone mecanismos destinados a consolidar comportamientos y aprovechar recompensas parciales; sus propios datos, sin embargo, muestran que el objetivo final todavía requiere más que progreso intermedio.

Qué sugieren los datos y qué queda por evaluar

El interés del enfoque está en tratar de conectar tres momentos que suelen ser distintos en la evaluación de agentes de terminal: la ejecución de una tarea, la lectura de sus resultados por un verificador y el ajuste posterior de la política. RSR y RPR organizan esa conexión en ciclos, mientras TB-GAE, FDR y SPR atienden aspectos concretos de la señal de aprendizaje. El resumen atribuye al método una evolución hacia la verificación estricta, pero no permite aislar el efecto de cada componente ni determinar cuál explica la mayor parte de los cambios.

La lectura de los resultados exige conservar también los denominadores y las métricas originales, en especial en LHTB, donde el salto de cero a cinco finalizaciones estrictas ocurre sobre 46 casos. La recompensa de proceso sube en paralelo, pero mide otra dimensión, por lo que no conviene presentar ambos datos como si fueran intercambiables. De modo parecido, el aumento de 3,00% a 6,00% en SWR100 es una duplicación porcentual, no evidencia por sí sola de que el sistema ya resuelva la mayoría de las tareas.

El material proporcionado identifica el modelo inicial, las etapas, los mecanismos y los resultados, pero no incluye detalles suficientes para reconstruir aquí los protocolos de evaluación, las condiciones de comparación o la variabilidad de las mediciones. Por esa razón, las cifras deben atribuirse al trabajo y no leerse como una comparación independiente o como garantía de desempeño en cualquier terminal. La información disponible tampoco permite concluir que las mejoras se trasladarán a otras familias de tareas, más allá de los resultados reportados.

La contribución central de Terminal-RSI es proponer una receta recursiva que une la reescritura de trayectorias verificadas con el refinamiento de políticas que hereda el crítico. Sus autores reportan resultados favorables en varias pruebas y mejoras en las métricas de proceso y éxito parcial, pero la finalización estricta de 5/46 en LHTB deja visible el reto que el método intenta resolver. La evaluación futura de esta idea dependerá de cómo se sostengan esos avances y de cuánto puedan separar los investigadores el progreso intermedio de una solución realmente completa.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados