Por Canuto  

HarnessMM, un método desarrollado por investigadores de Tsinghua y Microsoft Research Asia, redujo cerca de 88% los tokens por tarea del DeepSeek Harness en HumanEval y elevó la tasa de éxito de 71,43% a 85,71%, sin modificar los pesos del modelo.
***

  • En HumanEval, el consumo bajó de 96,28 mil a 11,62 mil tokens por tarea, mientras el éxito subió a 85,71%.
  • En MBPP-sanitized, la tasa de éxito pasó de 90,27% a 91,83% y el uso de tokens cayó de 53,98 mil a 10,61 mil.
  • La prueba con Codex registró una reducción de 29,54% en tokens, aunque sus resultados fueron menos drásticos que los de DeepSeek.

HarnessMM reduce 88% los tokens de DeepSeek y mejora sus resultados en código

Un método creado por investigadores de la Universidad de Tsinghua y Microsoft Research Asia redujo de forma pronunciada el consumo de tokens de un agente de programación basado en DeepSeek, a la vez que elevó su tasa de éxito en pruebas de código. En el benchmark HumanEval, el sistema pasó de usar 96,28 mil tokens por tarea a 11,62 mil, mientras sus respuestas correctas aumentaron de 71,43% a 85,71%.

La técnica, llamada HarnessMM, no modifica los parámetros internos del modelo ni requiere entrenarlo de nuevo. En cambio, reorganiza el andamiaje de software que decide cuándo el agente consulta al modelo y cómo utiliza las respuestas que obtiene de sus herramientas, una distinción relevante para equipos que trabajan con modelos cuyos pesos no controlan.

Un atajo en el andamiaje del agente

Un agente de programación no es únicamente un modelo que recibe una instrucción y devuelve código: también necesita un sistema que coordine sus consultas, administre herramientas y procese los resultados de cada paso. Ese conjunto se conoce como “harness”, o andamiaje, y determina buena parte del recorrido que sigue el sistema para completar una tarea. En ese proceso, cada llamada al modelo puede producir tokens de entrada y salida, por lo que reducir consultas repetidas puede disminuir el volumen de cómputo asociado.

HarnessMM busca identificar decisiones que el agente ya resolvió en situaciones anteriores y que, bajo determinadas condiciones, no necesitan otra respuesta generada desde cero. Para ello, construye lo que sus autores denominan un “Grafo de Decisión Ejecutable”, una estructura que representa decisiones tomadas después de recibir información de una herramienta. El propósito es convertir algunos pasos repetibles en rutas directas, en lugar de volver a pedir al modelo que razone sobre ellos.

Dentro de ese grafo, las “guardas” almacenan decisiones previas y verifican si se cumplen ciertas condiciones antes de ejecutarlas. Si la situación coincide con una ruta ya registrada, el harness puede reutilizar la respuesta correspondiente y omitir una nueva llamada al modelo de lenguaje. La idea se parece a una memoria operativa para el agente, aunque su utilidad depende de que las condiciones definidas realmente describan el caso que tiene enfrente.

Los autores describen el enfoque como una forma de mejora recursiva del propio harness: la configuración que organiza el trabajo del agente puede perfeccionarse a partir de la experiencia. El modelo actor, es decir, el componente que genera las decisiones, mantiene sus pesos sin cambios durante este proceso. Así, las ganancias reportadas proceden de una coordinación distinta de las llamadas y no de una nueva fase de entrenamiento del modelo subyacente.

Los resultados en dos pruebas de programación

El resultado más llamativo corresponde a HumanEval, un benchmark utilizado para evaluar tareas de generación de código. Según el artículo de CryptoBriefing, al aplicar HarnessMM al DeepSeek Harness, el promedio de tokens por tarea cayó de 96,28 mil a 11,62 mil, una reducción cercana a 88%. En paralelo, la tasa de éxito subió de 71,43% a 85,71%, por lo que el menor consumo no vino acompañado de un peor resultado en esa prueba.

Ese cruce entre eficiencia y desempeño merece atención porque, en principio, evitar consultas puede ahorrar recursos, pero también podría dejar al agente sin información necesaria para resolver un paso. Los números de HumanEval muestran el resultado observado en el experimento: menos tokens y más tareas exitosas. No bastan, por sí solos, para asegurar que el mismo equilibrio se repetirá con cualquier encargo de programación o con sistemas desplegados en condiciones distintas.

En MBPP-sanitized, otro conjunto de tareas de código utilizado por los investigadores, el cambio fue más moderado en la tasa de éxito y considerable en el consumo. El indicador de éxito aumentó de 90,27% a 91,83%, mientras los tokens por tarea bajaron de 53,98 mil a 10,61 mil. El dato amplía la evaluación más allá de HumanEval, aunque sigue circunscrito a benchmarks de programación y no demuestra por sí mismo el comportamiento del método en otros tipos de tareas.

Los investigadores también probaron HarnessMM con Codex en HumanEval, y encontraron una reducción de 29,54% en el uso de tokens. La tasa de éxito se mantuvo en 90,82%, un nivel alto según los resultados comunicados, pero el ahorro fue menor que el observado en DeepSeek. La diferencia indica que el margen de optimización puede variar según el agente y el harness sobre el que se aplique la técnica, en lugar de ofrecer una mejora idéntica para todos.

Lo que puede significar para quienes construyen agentes

Una de las implicaciones prácticas del método es que apunta a una capa distinta de la que se suele asociar con las mejoras de inteligencia artificial. Reentrenar un modelo puede ser costoso y, si una empresa utiliza los pesos de un tercero, quizá no tenga acceso para modificarlos. Una optimización sobre el harness evita esa dependencia directa del entrenamiento, aunque todavía exige integrar y evaluar correctamente la lógica que decide cuándo reutilizar una respuesta.

Menos tokens pueden traducirse en menor demanda de cómputo y en una ejecución potencialmente más rápida o menos costosa, pero los resultados descritos no ofrecen una medición monetaria ni una comparación de tiempos. Por eso, conviene distinguir el indicador que sí reporta el trabajo, los tokens por tarea, de sus posibles consecuencias operativas. El ahorro de texto es una señal de eficiencia, no una cifra directa de cuánto dinero podría ahorrar una organización.

La portabilidad es otra cuestión que el experimento empieza a explorar. La prueba con Codex sugiere que HarnessMM no está necesariamente limitado al DeepSeek Harness, pero la reducción más discreta de tokens muestra que el efecto no se transfiere con la misma intensidad entre sistemas. Para equipos que evalúen su uso, esa diferencia hace importante medir el rendimiento en el harness concreto que operan, en vez de extrapolar la cifra más llamativa como una garantía general.

El DeepSeek Harness, según la información publicada, se abrió como proyecto de código el 13 de agosto de 2026 y desde entonces acumuló decenas de miles de estrellas en GitHub. Ese contexto ayuda a entender por qué una mejora en su andamiaje podría interesar a desarrolladores que construyen herramientas de programación, pero la popularidad de un proyecto no valida por sí sola el desempeño de una técnica. La evidencia central sigue estando en las pruebas que los investigadores reportaron y en sus límites.

Promesa y límites de la evaluación

El trabajo se titula HarnessMM: Recursive Self-Improvement for Harness Token Efficiency y sus autores son Yuhua Jiang, Chang Xu, Feifei Gao y Li Zhao. La versión mencionada fue enviada el 23 de octubre de 2026 y se presenta como un preprint, por lo que todavía no cuenta con revisión formal por pares. Esa condición no invalida los resultados, pero sí aconseja tratarlos como hallazgos iniciales que aún deben examinarse y reproducirse.

HumanEval y MBPP-sanitized permiten comparar resultados en tareas estructuradas, pero un benchmark no reproduce toda la variedad de proyectos de software del mundo real. Los ejercicios de evaluación ofrecen un entorno delimitado, mientras que el trabajo cotidiano puede incluir requisitos cambiantes y decisiones menos previsibles. Por ese motivo, las cifras son útiles para plantear una hipótesis de eficiencia, aunque no permiten afirmar que la técnica elevará siempre la calidad o reducirá el consumo en cualquier aplicación.

El mecanismo de guardas también concentra una parte del riesgo técnico: omitir una llamada funciona cuando el siguiente paso es suficientemente predecible y las condiciones registradas se ajustan a la situación. Si una guarda se activa en un caso distinto del previsto, el agente podría saltarse una decisión que necesitaba revisar. En las pruebas comunicadas, las tasas de éxito subieron o se mantuvieron altas, pero esos resultados no eliminan la necesidad de comprobar cuidadosamente los casos en que el sistema reutiliza una respuesta.

Por ahora, el aporte más concreto de HarnessMM es mostrar que una parte del gasto de los agentes de código podría estar en la forma en que coordinan sus pasos, no únicamente en el modelo que los impulsa. La reducción de tokens observada con DeepSeek es notable y la prueba con Codex aporta una señal de que el enfoque puede probarse en otro sistema, con un beneficio menor. La pregunta pendiente es cuánto de esa mejora se conserva fuera de los benchmarks y bajo evaluaciones independientes.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados