Por Canuto  

El proyecto harness-hub publicó en Hugging Face un adaptador LoRA para que Qwen3.8-27B trabaje con el agente de código pi. Sus pruebas reportan 64,7% en SWE-bench Pro con el razonamiento desactivado, frente a 39,2% del modelo base bajo esa misma condición; el resultado iguala la cifra del modelo base con razonamiento en su nivel más alto, según la model card.

***

  • El adaptador Qwen3.8-27B-pi-adapted obtuvo 64,7% en SWE-bench Pro, frente a 39,2% del modelo base con thinking desactivado.
  • En las tareas que ambos modelos resolvieron, los turnos medianos bajaron de 59 a 23 en SWE-bench Pro y de 18 a 8 en Terminal-Bench 2.1.
  • Los resultados fueron autoinformados con un intento por tarea; la evaluación incluyó 51 tareas difíciles de SWE-bench Pro y 86 de Terminal-Bench 2.1.

 


 

El ajuste especializado elevó el resultado reportado en SWE-bench Pro de 39,2% a 64,7% con el modo de razonamiento desactivado, además de reducir los turnos necesarios para resolver tareas.

Un ajuste para un agente específico

El proyecto harness-hub publicó en Hugging Face Qwen3.8-27B-pi-adapted, un adaptador LoRA entrenado para funcionar con pi, un toolkit de agentes que incluye una interfaz de línea de comandos para programar. La propuesta no busca convertir el modelo en un asistente general distinto, sino afinar su comportamiento dentro de ese entorno de trabajo. Según MarkTechPost, el adaptador se distribuye bajo licencia Apache-2.0 y solo es compatible con el modelo base Qwen3.8-27B.

Un adaptador LoRA agrega parámetros ajustados a un modelo existente, en lugar de reemplazarlo por completo con una nueva versión entrenada desde cero. En este caso, el ajuste tiene rango 32 y alpha 64, y se aplica a las proyecciones q, k, v, o, gate, up y down. La estrategia permite conservar el modelo base y sumar una capa especializada para el agente pi, aunque los resultados descritos no demuestran que el adaptador funcione igual de bien en otros harnesses.

Qwen3.8-27B es un modelo denso híbrido de 27.000 millones de parámetros, con una ventana de contexto nativa de 262.144 tokens. Su arquitectura alterna, a lo largo de 64 capas, bloques de atención lineal Gated DeltaNet y bloques Gated Attention. El checkpoint fusionado en BF16 ocupa alrededor de 54 GB, un dato que sirve para dimensionar el archivo resultante, pero no equivale por sí solo a una cifra de memoria de video necesaria durante la inferencia.

La especialización por harness parte de una premisa práctica: un agente de programación trabaja mediante instrucciones, herramientas y ciclos de ejecución propios, por lo que adaptar el modelo a ese flujo puede cambiar cómo aborda una tarea. El equipo entrenó el LoRA dentro del harness de pi sin modificarlo, en vez de optimizarlo en una conversación genérica. Esa decisión acota el alcance de la mejora: la evaluación informa sobre el modelo en pi y no permite extrapolar automáticamente los resultados a cualquier sistema de agentes.

Qué muestran las pruebas de programación

En SWE-bench Pro, con el modo de razonamiento desactivado, Qwen3.8-27B-pi-adapted obtuvo 64,7%, mientras que el modelo base alcanzó 39,2%. La diferencia reportada fue de 25,5 puntos porcentuales, con un margen de ±14,2 puntos y un valor p de 0,0023. La evaluación se limitó a la variante hard de 51 tareas, de modo que el tamaño del conjunto debe tenerse en cuenta al interpretar el resultado.

En Terminal-Bench 2.1, el adaptador registró 55,8% frente a 39,5% del modelo base, una diferencia de 16,3 puntos porcentuales con ±9,1 puntos y p = 0,0013. La prueba incluyó 86 tareas. El equipo también informó que el adaptador resolvió 15 tareas nuevas de SWE-bench Pro y perdió dos, mientras que en Terminal-Bench ganó 16 y perdió dos.

La reducción de pasos de interacción es otro de los resultados destacados. En las tareas de SWE-bench Pro que resolvieron ambos modelos, la mediana de turnos bajó de 59 con el modelo base a 23 con el adaptador; en Terminal-Bench 2.1, cayó de 18 a 8. Estas cifras describen turnos dentro de las sesiones evaluadas y no deben confundirse con una medida universal del tiempo de ejecución o del costo de operar el sistema.

El informe afirma además que el adaptador genera alrededor de 4,5 veces menos tokens que el modelo base cuando este último usa thinking, es decir, el modo de razonamiento. La comparación sugiere que el ajuste puede acercar la precisión del modo de razonamiento con trazas más cortas, pero el material no ofrece una medición monetaria del ahorro ni una cifra de latencia. La ganancia reportada es, por tanto, de desempeño y eficiencia de tokens bajo las condiciones descritas.

Entrenamiento con recompensas y controles

El equipo usó AsyncGRPO, un algoritmo de TRL, con ocho rollouts por tarea y temperatura 0,8. El conjunto de entrenamiento combinó 750 tareas scale800 con 300 tareas TermGrade. La recompensa tomó en cuenta la corrección verificada y añadió un bono de eficiencia en el uso de herramientas con peso 0,1, de acuerdo con los detalles de la model card reseñados en la fuente.

Cada rollout podía abarcar hasta 50 pasos del agente y durar un máximo de 1.800 segundos, con el modo thinking desactivado durante el entrenamiento. El checkpoint divulgado corresponde al paso 160, mientras que la ejecución se detuvo en el paso 191 de los 1.000 que se habían planeado. El uso de esas condiciones ayuda a entender qué clase de comportamiento se optimizó, pero no prueba por sí mismo cómo rendirá el modelo ante tareas diferentes de las incluidas.

Las llamadas a herramientas pasaron por safeagents, un proxy basado en reglas que bloquea acciones como obtener respuestas de benchmarks desde Hugging Face. Según la descripción del procedimiento, los rollouts bloqueados recibían una puntuación de cero, para desalentar intentos de aprovecharse de las pruebas en lugar de resolverlas. Ese control es relevante en entrenamiento por refuerzo, porque el agente recibe señales de recompensa y puede aprender estrategias que maximicen el puntaje sin cumplir el objetivo real.

El entrenamiento se realizó con dos GPU NVIDIA B200, pero no se divulgó la memoria de video necesaria para la inferencia. Por ello, no es posible deducir de ese dato cuántas GPU requiere un despliegue concreto ni qué configuración conviene a cada desarrollador. La tarjeta del modelo plantea varias rutas de ejecución, pero los requisitos dependen de la variante y de la forma en que se cargue el modelo.

Comparaciones, despliegue y límites

El modelo base con thinking activado ya había alcanzado 64,7% en SWE-bench Pro y 54,2% en Terminal-Bench 2.1, según los resultados comparativos divulgados. La model card indica que, con thinking desactivado, el adaptador igualó el 64,7% del modelo base ejecutado con su nivel de razonamiento más alto, xhigh. Para Terminal-Bench 2.1, el adaptador con thinking desactivado obtuvo 55,8%, frente al 54,2% del modelo base con thinking activado. Cuando se activa thinking también para el adaptador, sus resultados informados suben a 66,7% y 56,6%, respectivamente.

La comparación con otros ajustes requiere cautela porque no todos usan el mismo harness. Qwen3.8-27B-opencode-adapted obtuvo 51% en SWE-bench Pro y 53% en Terminal-Bench 2.1 dentro de OpenCode, mientras que la fuente reporta entre seis y ocho veces menos tokens que el modelo base con thinking. El artículo advierte que esos resultados no son directamente comparables con los de pi, precisamente porque el entorno de ejecución es distinto.

La fuente también menciona bytkim/Qwen3.8-27B-pi, un fine-tune completo de 28.000 millones de parámetros que combina SFT y GRPO. No se divulgan allí sus resultados en los dos benchmarks citados, aunque se reporta una reducción de 41% en tokens de salida en Terminal-Bench. Esos datos no permiten establecer cuál variante ofrece mejor precisión global, y la diferencia entre un LoRA y un ajuste completo tampoco sustituye una comparación bajo un protocolo común.

Para desplegar el adaptador, la model card describe el uso de vLLM con LoRA habilitado y thinking desactivado, o llama.cpp con el adaptador en formato GGUF sobre una base Q8_0. También contempla Llama.app en macOS con un contexto de 32.768 tokens y la posibilidad de fusionar el adaptador mediante PEFT en CPU para servir el resultado BF16 de unos 54 GB. Un mismo servidor puede alojar los adaptadores para pi y OpenCode sobre el mismo modelo base, aunque cada uno está orientado a su propio harness.

Las cifras deben leerse como resultados autoinformados y obtenidos con un intento por tarea, en conjuntos pequeños: 51 tareas difíciles en SWE-bench Pro y 86 en Terminal-Bench 2.1. La propia publicación señala que una cifra base de 29,4% mencionada antes fue corregida; la tabla de resultados presenta 39,2% como referencia para SWE-bench Pro. En consecuencia, el salto reportado es prometedor para quienes usan pi, pero una evaluación más amplia y comparable ayudaría a establecer cuánto se sostiene fuera de esas pruebas.


Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.

 


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín