Por Canuto  

Un preprint de Salesforce AI Research plantea que entrenar modelos expertos por separado y luego destilarlos en un solo sistema puede igualar el rendimiento del aprendizaje por refuerzo conjunto con 42% menos cómputo en una prueba de matemáticas y código. El resultado es prometedor, aunque depende de una configuración específica y no convierte la destilación en una solución universal.
***

  • El estudiante destilado de especialistas en matemáticas y código igualó el rendimiento de GRPO conjunto usando 42% menos FLOPs de entrenamiento.
  • La fase de destilación representó 5,2% del costo de entrenar a los expertos en el ensayo de dos dominios, y 8,0% en una configuración de cuatro.
  • La destilación con profesores externos rindió peor que GRPO por unidad de cómputo, mientras que Self-GRPO destacó en una tarea de un solo dominio.

Salesforce reporta 42% menos cómputo al destilar expertos de IA entrenados con aprendizaje por refuerzo

Un estudio de Salesforce AI Research propone entrenar modelos especialistas por separado y transferir después sus capacidades a un único modelo. En una prueba de matemáticas y código, el método alcanzó un rendimiento comparable al aprendizaje por refuerzo conjunto con 42% menos FLOPs de entrenamiento, aunque el resultado corresponde a una configuración concreta y todavía no ha pasado por revisión por pares.

El trabajo examina cómo reducir el costo del postentrenamiento de modelos de lenguaje sin renunciar a la precisión en tareas verificables. Su propuesta no consiste en eliminar el aprendizaje por refuerzo, sino en cambiar cómo se organizan los modelos que aprenden cada dominio y cómo se combinan sus resultados.

Una comparación centrada en rendimiento y costo

El preprint de Salesforce AI Research, titulado Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO, compara métodos de entrenamiento mediante una pregunta práctica: cuánta precisión en datos retenidos obtiene cada enfoque por cada unidad de cómputo utilizada. Los investigadores evaluaron tareas de matemáticas y código, con distintos niveles de dificultad y configuraciones de profesores, para observar tanto el desempeño como el gasto en FLOPs.

GRPO, sigla de Group Relative Policy Optimization, es una técnica de aprendizaje por refuerzo que utiliza recompensas asociadas con resultados verificables. En términos sencillos, el modelo recibe una señal favorable cuando produce una respuesta cuya corrección puede comprobarse, una característica que permite aplicar el método a problemas donde existe una solución evaluable.

La otra estrategia analizada es OPD, o destilación on-policy. En este enfoque, un modelo estudiante aprende de las respuestas de uno o más profesores, en vez de depender únicamente de su propia optimización mediante recompensas; el estudio pregunta si esa transferencia de capacidades puede ofrecer precisión comparable con menos cómputo total.

La comparación se realizó sobre conjuntos de datos retenidos, es decir, ejemplos que no forman parte del entrenamiento utilizado para ajustar los modelos. El criterio permite observar si el rendimiento se conserva en datos no usados directamente durante el proceso, aunque los resultados descritos no demuestran por sí solos que la ventaja se repita en cualquier modelo, tarea o escala.

Especialistas separados y un modelo estudiante

El resultado central corresponde a una configuración con dos dominios: matemáticas y código. En vez de entrenar un único modelo con GRPO para ambos al mismo tiempo, el equipo preparó puntos de control expertos por separado, uno enfocado en cada dominio, y después destiló sus capacidades en un solo modelo estudiante.

Según los investigadores, ese estudiante obtuvo un rendimiento comparable al del entrenamiento conjunto con GRPO, pero consumió 42% menos FLOPs de entrenamiento en total. La cifra representa una reducción del cómputo medido para esa configuración específica, no un ahorro universal aplicable automáticamente a todo proyecto de inteligencia artificial.

La fase de destilación también tuvo un costo relativamente bajo dentro de la prueba: supuso 5,2% del cómputo dedicado a entrenar a los especialistas en el caso de dos dominios. Así, el trabajo plantea que la etapa de transferencia puede añadir una carga acotada frente al entrenamiento de expertos, mientras permite reunir en un modelo las capacidades desarrolladas por separado.

El equipo también extendió la configuración a cuatro dominios y encontró que la destilación representó 8,0% de los FLOPs de entrenamiento de los especialistas. El aumento frente al 5,2% observado con dos dominios sugiere que el costo de la fusión se mantuvo relativamente contenido en las pruebas reportadas, aunque no basta para concluir que escalar a más expertos siempre tendrá el mismo comportamiento.

Los límites del método y lo que falta comprobar

El artículo no presenta la destilación como una alternativa que supere siempre a GRPO. Cuando OPD utilizó profesores postentrenados externos, en lugar de expertos internos creados para el ensayo, el método generalmente logró menos rendimiento por FLOP que GRPO; además, esos profesores tendieron a producir respuestas más largas de lo necesario para sus estudiantes.

El resultado fue distinto con Self-GRPO, una configuración que parte de puntos de control anteriores del propio estudiante para construir profesores. En tareas de un solo dominio, el estudio la describe como una opción eficiente para recuperar precisión, y su resumen reporta reducciones de hasta un factor de 50 en los FLOPs de destilación para esa configuración.

Estas diferencias indican que el origen y la preparación de los profesores importan: no basta con transferir respuestas de otro modelo y asumir que el estudiante aprenderá con menor costo. En las pruebas descritas, los expertos internos y los profesores externos no ofrecieron la misma relación entre precisión y cómputo, por lo que las cifras deben leerse junto con el diseño experimental que las produjo.

La investigación se enmarca en el esfuerzo de Salesforce por abaratar el postentrenamiento de grandes modelos de lenguaje y en el uso de aprendizaje por refuerzo con recompensas verificables. Sin embargo, el trabajo sigue siendo un preprint sin revisión por pares, y su ahorro más destacado procede de la comparación de dos dominios, matemáticas y código; comprobar su alcance en otras tareas y condiciones será necesario antes de generalizar la conclusión.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados