Por Canuto  

Un equipo de investigadores de MIT CSAIL afirma que un LLM de frontera puede interpretar y modificar directamente pesos neuronales, sin recurrir al entrenamiento tradicional. En una prueba con Qwen3.5-0.8B, una edición de apenas 0,016% de los parámetros coincidió con mejoras marcadas en matemáticas y seguimiento de instrucciones, aunque otros experimentos muestran que el método todavía tiene límites importantes.
***

  • Los autores reportan que GPT-6 Astra identificó comportamientos de redes a partir de sus pesos y escribió políticas para videojuegos sin entrenamiento ni gradientes.
  • En Qwen3.5-0.8B, Astra modificó 131.072 pesos y elevó el resultado de MATH-500 de 7,9% a 48,1% con 50 pasadas de evaluación.
  • El método no mejoró de forma significativa a Gemma 3 270M, señal de que corregir un obstáculo no equivale a añadir capacidades que el modelo no posee.

 

Una nueva forma de intervenir en redes neuronales

Un equipo vinculado a MIT CSAIL sostiene que los grandes modelos de lenguaje pueden hacer algo más que escribir código o ajustar instrucciones: también pueden leer y editar directamente los pesos de una red neuronal. En su publicación del 2 de noviembre de 2026, Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab describen este enfoque como programación en el espacio de pesos, una alternativa a modificar parámetros mediante descenso de gradiente o un optimizador convencional.

Los pesos son los valores numéricos que determinan cómo una red transforma sus entradas en resultados, y suelen ser difíciles de interpretar para una persona. Según los autores, GPT-6 Astra pudo deducir qué tarea realizaban redes pequeñas al inspeccionar sus parámetros, y también redactó pesos para redes nuevas siguiendo instrucciones en lenguaje natural. En las pruebas descritas, el modelo no necesitó acceso a bucles de entrenamiento ni, en algunos casos, retroalimentación del entorno.

La propuesta amplía una práctica que ya se usa con artefactos de texto: pedir a un modelo que revise y mejore instrucciones, programas o configuraciones. La diferencia es que aquí el objeto de trabajo no es el código que entrena una red, sino los valores internos de la propia red; los investigadores plantean que un LLM podría razonar sobre lo que cada capa debería calcular y reflejar ese plan en los pesos.

Los resultados son preliminares y provienen de experimentos diseñados por el equipo, no de una evaluación independiente presentada en el material. Por eso, la magnitud de algunas mejoras debe leerse como un hallazgo reportado por sus autores, no como prueba de que el método ya sustituya al entrenamiento en modelos generales o pueda aplicarse sin controles a sistemas desplegados.

Leer redes y escribir políticas para juegos

En las primeras pruebas, Astra recibió pesos de políticas entrenadas con PPO para cuatro juegos en cuadrículas de 10 por 10: Breakout, Pong, Pac-Man y Freeway. Las redes compartían arquitectura, entradas y acciones, y el modelo debía identificar el juego sin conocer las opciones de antemano; según el informe, acertó los cuatro casos al observar patrones en los pesos de entrada y salida.

El equipo también entrenó tres modelos de difusión para generar círculos, cuadrados y triángulos en imágenes de 12 por 12 píxeles. Astra identificó la forma asociada a cada modelo sin ejecutar pasadas hacia adelante, aunque describió los contornos en lugar de las figuras rellenas que realmente generaban. Los autores interpretan ese error como indicio de que el sistema analizaba la geometría de los pesos y no reproducía simplemente la salida del modelo.

En otra prueba, recibió solo los cuatro bloques intermedios de pequeños transformadores de 7,16 millones de parámetros, entrenados con código Python, japonés escrito en romaji o inglés. No tenía las capas de entrada y salida ni podía ejecutar la red; aun así, nombró el idioma correcto en dos intentos por modelo e identificó las cabezas de atención dedicadas a copiar texto previo. El equipo comparó esas identificaciones con mediciones de referencia y reportó coincidencias en los tres modelos.

La capacidad de escritura se examinó primero con una política de control que fallaba al conducir un auto por una rampa en Kinetix. Tras recibir los pesos, una descripción de la escena y la grabación de un episodio, Astra modificó 3,5% de los parámetros en una respuesta y, según los autores, el vehículo superó la prueba en 1.024 episodios, frente a cero éxitos antes de la edición. Su explicación fue que añadió una ruta pequeña para retroceder antes de acelerar hacia la rampa.

De videojuegos a una red de Go

El equipo pidió después a Astra crear desde cero redes para Breakout, Seaquest y Asterix, tres juegos de MinAtar. El modelo recibió reglas y código fuente, pero no datos de entrenamiento, función de pérdida, gradientes, herramientas ni oportunidad de probar las redes antes de escribir sus pesos; aun con esas restricciones, las puntuaciones reportadas superaron a las de PPO tras 100 millones de pasos en los tres juegos.

En Breakout, la red escrita por Astra obtuvo 517,4 puntos, frente a 15,8 de PPO con 100 millones de pasos y 25,3 con 500 millones. En Seaquest logró 53,1 puntos, comparados con 5,6 y 88,9, respectivamente; en Asterix anotó 53,2, cerca de los 55,2 de PPO tras 500 millones de pasos y por encima de los 25,8 de la versión de 100 millones. Los autores explican que Astra tradujo estrategias descritas en palabras a operaciones distribuidas entre las capas.

Para poner a prueba una red mayor, el equipo usó Go en un tablero de nueve por nueve y una arquitectura de 1,48 millones de parámetros, demasiado grande para incluir todos sus pesos directamente en el contexto. Astra trabajó en un entorno de Python con los tensores inicialmente en cero y pudo analizarlos con NumPy o PyTorch, pero no ejecutar la red libremente; solo podía observar su comportamiento mediante un presupuesto limitado de pasadas hacia adelante.

Con cero pasadas, la red de Astra ganó más de la mitad de las partidas contra dos políticas PPO pequeñas, según la publicación. Con 50 pasadas de prueba, superó a una red PPO de tamaño equivalente entrenada en 20 millones de partidas; el modelo habría construido una estrategia que reconoce piedras, espacios libres y grupos en riesgo, y luego asigna puntajes a capturas, defensas y movimientos potencialmente perjudiciales.

La edición de Qwen y los límites del método

La prueba más relevante para los modelos de lenguaje se centró en Qwen3.5-0.8B, al que Astra debía mejorar en matemáticas editando pesos, sin gradientes ni entrenamiento. El modelo podía consultar problemas de práctica de GSM8K y MATH mediante un entorno de Python, con presupuestos de 10, 25 o 50 pasadas hacia adelante; no tuvo acceso a las evaluaciones finales de MATH-500, GSM8K ni de los otros seis benchmarks reportados.

Los autores atribuyen el bajo desempeño inicial de Qwen a bucles de razonamiento que consumían hasta el límite de 32.768 tokens sin llegar a una respuesta. Astra rastreó el problema hasta una dirección asociada con los MLP de las capas 15 y 19 y la restó de 64 columnas de salida, una modificación de 131.072 pesos, equivalente a 0,016% del total de aproximadamente 0,8 mil millones.

Con 50 pasadas, MATH-500 pasó de 7,9% a 48,1%, GSM8K subió de 13,8% a 67,1% e IFEval, una prueba de seguimiento de instrucciones, avanzó de 21,0% a 62,3%. La proporción de respuestas de MATH-500 que alcanzó el límite de tokens cayó de 93,0% a 33,1%; con 10 o 25 pasadas, en cambio, los bucles persistieron en gran medida y los resultados fueron menores.

El equipo también probó el procedimiento con Gemma 3 270M, un modelo que entraba en bucle con mucha menos frecuencia, y no encontró una mejora matemática clara. MATH-500 pasó de 6,8% en la versión base a un máximo de 7,7% con 25 pasadas, antes de bajar a 7,0% con 50; los autores concluyen que eliminar un obstáculo puede liberar una capacidad existente, pero no necesariamente crear habilidades que el modelo no tiene.

Promesa de interpretabilidad, con cautela

Una prueba adicional abordó la conducta servil, es decir, la tendencia a dar la respuesta que sugiere el usuario incluso cuando es incorrecta. El equipo ajustó dos copias de Gemma 3 270M con el mismo conjunto de preguntas y respuestas, una para contestar correctamente y otra para seguir la sugerencia; congeló los embeddings de entrada y las capas de salida para reducir pistas triviales. Astra no pudo distinguir ambos modelos mirando solo los pesos, pero los identificó en tres pares cuando pudo inspeccionar patrones de atención sobre textos que ella misma redactaba.

En esos modelos, Astra señaló que algunas cabezas de atención de capas intermedias daban más peso a los tokens de la sugerencia del usuario. El resultado sugiere que el análisis puede depender de la clase de evidencia disponible: la inspección estática de parámetros no bastó en esta prueba, mientras que las señales de atención asociadas a entradas concretas sí ayudaron. Esa diferencia importa para valorar el alcance del método y evitar presentar la lectura de pesos como una capacidad universal.

Los autores plantean posibles usos futuros en auditoría de modelos, optimización, edición de capacidades y eliminación de comportamientos no deseados. También imaginan que un LLM podría ayudar a detectar puertas traseras sin depender de conjuntos de prueba específicos o transferir circuitos entre arquitecturas distintas; estas aplicaciones aparecen como posibilidades, no como resultados demostrados por los experimentos descritos.

El trabajo también reconoce límites prácticos: el tamaño del contexto dificulta manipular redes grandes y las herramientas disponibles condicionan cuánto puede observar o cambiar el modelo. El equipo dice que está construyendo un benchmark y un entorno de evaluación para comparar estas capacidades de manera reproducible, un paso necesario antes de determinar si la programación en el espacio de pesos puede convertirse en una técnica confiable para desarrollar o auditar sistemas de IA.

La publicación completa y sus registros experimentales están disponibles en Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights, firmado por Takehi, Teoh, Zhang y Khattab. Los autores indican que los registros incluyen las instrucciones enviadas a Astra, sus respuestas, el código ejecutado y las evaluaciones detrás de las cifras reportadas.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados