Por Canuto  

AWS incorporó el ajuste de todos los pesos a SageMaker AI Serverless Model Customization y reportó 90% de corrección semántica en una prueba de programación. Sin embargo, sus experimentos también mostraron que tasas de aprendizaje agresivas pueden hacer caer drásticamente el conocimiento general del modelo.
***

  • El nuevo método actualiza todos los pesos del modelo y no reduce el cómputo requerido, aunque SageMaker administra la infraestructura.
  • En una prueba con Qwen3-4B y más de 100.000 ejemplos, el ajuste completo alcanzó 90,0% de corrección semántica a las tres épocas.
  • Las tasas de aprendizaje de 5e-5 o superiores hundieron la precisión de MMLU hasta 3,6%, una señal de olvido catastrófico.


AWS incorporó el ajuste fino completo, conocido como FFT, a SageMaker AI Serverless Model Customization, su servicio para personalizar modelos sin que el cliente aprovisione directamente la infraestructura de entrenamiento. La compañía reportó 90,0% de corrección semántica en un experimento de programación con más de 100.000 ejemplos, pero también advirtió que ciertas configuraciones pueden deteriorar capacidades generales del modelo.

La ficha oficial del anuncio está fechada en agosto de 2026. La novedad amplía las opciones para adaptar modelos de pesos abiertos a tareas específicas. La diferencia central frente a LoRA es cuánto del modelo se modifica: el FFT actualiza todos sus pesos, mientras LoRA mantiene congelados los pesos preentrenados y agrega adaptadores de bajo rango.

Qué cambia con el ajuste completo

En términos prácticos, un cliente entrega un modelo base, un conjunto de datos y los hiperparámetros que guiarán el entrenamiento. El servicio asigna el cómputo y administra los checkpoints, por lo que el usuario no necesita aprovisionar GPU, configurar clústeres ni preparar por su cuenta un entrenamiento distribuido.

La modalidad serverless no cambia, sin embargo, la cantidad de parámetros que participan en el proceso. En FFT se actualizan todos los pesos del modelo; LoRA, en cambio, conserva intacta la base preentrenada e inserta matrices de adaptadores de bajo rango, una alternativa que reduce las necesidades de capacidad de GPU al restringir los cambios a un espacio representacional más pequeño.

La compañía plantea que el entrenamiento completo puede captar adaptaciones de dominio más complejas cuando crecen los conjuntos de datos, en vez de limitarse a aumentar la cantidad de parámetros entrenables mediante adaptadores. Esa posibilidad no equivale a una garantía de mejores resultados: depende de los datos, de los hiperparámetros y de que la ganancia en la tarea especializada compense los recursos empleados.

En el ejemplo del SDK de Python de SageMaker, cambiar de una modalidad a otra requiere reemplazar TrainingType.FULL por TrainingType.LORA, sin alterar el resto de la configuración del trabajo. Esa simplicidad de uso es una ventaja operativa, pero no debe confundirse con una reducción del esfuerzo de entrenamiento, porque FFT procesa y actualiza el conjunto completo de pesos.

Una prueba centrada en programación

Para comparar los métodos, AWS utilizó ajuste fino supervisado sobre Qwen3-4B, con los mismos prompts, objetivos y código de evaluación para cada variante. El conjunto Magicoder-Evol-Instruct-110K aportó ejemplos de instrucción y respuesta sobre diseño de algoritmos, depuración, estructuras de datos y programación de sistemas.

La división de datos reservó 99.000 registros para entrenamiento, 5.500 para validación y otros 5.500 para una prueba separada que no participó en el ajuste. La evaluación distinguió entre el desempeño de programación y la retención de conocimientos más generales, dos dimensiones que pueden evolucionar de manera distinta cuando un modelo se especializa.

Amazon Nova Pro actuó como juez de lenguaje para valorar la corrección lógica del código generado junto con el prompt original. PRIMECODE comparó las respuestas con soluciones de referencia mediante BLEU, ROUGE-1, ROUGE-2, ROUGE-L y F1, mientras MMLU midió conocimiento general en 57 materias académicas.

Según el reporte de Unite.AI, el FFT obtuvo 90,0% de corrección semántica en el experimento y su puntuación llegó al máximo a las tres épocas; prolongar el entrenamiento degradó todas las variantes probadas. En una comparación visual de varias dimensiones de calidad, el ajuste completo superó a LoRA y al modelo base en los indicadores presentados, con ventajas más marcadas en BLEU y ROUGE-2.

La mejora en una tarea no garantiza retención

Los resultados no mostraron una superioridad uniforme del FFT. Tanto ese método como LoRA rindieron por debajo del modelo base en exactitud de MATH, y una comparación separada basada en evaluación de un modelo de lenguaje favoreció a LoRA, con 81,5%, frente a 79,5% para el ajuste de todos los pesos.

La advertencia más fuerte se relacionó con tasas de aprendizaje agresivas. En las pruebas descritas, configuraciones de 5e-5 o superiores hicieron caer las puntuaciones de MATH a entre 2% y 3%, mientras la precisión de MMLU llegó a 3,6%, un patrón que la empresa identificó como olvido catastrófico.

Ese fenómeno ocurre cuando el ajuste especializado sobrescribe parte del conocimiento aprendido durante el preentrenamiento y reduce la capacidad de responder bien fuera del dominio nuevo. En este caso, una mejora en tareas de código podía convivir con pérdidas pronunciadas en conocimientos académicos generales, por lo que evaluar solo la tarea objetivo habría ocultado una parte importante del costo.

El mapa de riesgos de AWS señaló 2e-5 como una configuración más segura para conjuntos de datos grandes. Entre las opciones evaluadas, una combinación de esa tasa de aprendizaje, 5% de warmup y tamaño de lote global de 8 preservó mejor el conocimiento general según MMLU; el dato describe las pruebas de la compañía y no constituye una receta universal para cualquier modelo o conjunto de datos.

Costos y límites para el despliegue

El tamaño del lote también influyó en la retención: con una tasa de aprendizaje fija, lotes más pequeños generaron actualizaciones más ruidosas, cuyo efecto se asemejaba al de una tasa mayor y elevaba el riesgo de olvido. Los lotes más grandes redujeron ese ruido, aunque también disminuyeron la cantidad de pasos de optimización y podían dejar el modelo insuficientemente entrenado.

La empresa indicó que realizó decenas de experimentos en distintos modelos base, modificando la tasa de aprendizaje, el tamaño del lote, la proporción de warmup, el número de épocas y la escala de los datos. Cada ciclo, desde el envío del trabajo hasta la evaluación, tomó unas pocas horas, y los modelos resultantes quedaron registrados automáticamente como paquetes versionados en SageMaker Model Registry para revisión o despliegue.

El ajuste supervisado con FFT está disponible, según la lista citada, para modelos de pesos abiertos como DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B y NVIDIA Nemotron 3 Nano 30B (A3B). La documentación del servicio señala que FFT utiliza los mismos formatos de conjuntos de datos que LoRA, pero necesita más cómputo y más tiempo de entrenamiento, y genera artefactos mayores porque conserva los pesos completos.

El método tampoco es compatible con la personalización continua, aunque elimina la sobrecarga de adaptadores durante la inferencia. En suma, SageMaker asume parte de la gestión de la infraestructura y los checkpoints, pero no elimina el costo computacional de entrenar todos los pesos ni el riesgo de sacrificar capacidades generales; cada equipo tendrá que ponderar esas limitaciones frente a una adaptación potencialmente más profunda.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín