Por Canuto  

Un ensayo de Nick Cammarata, asesor de investigación de Goodfire, sostiene que muchas redes neuronales son más comprensibles de lo que se pensaba, pero Neel Nanda advierte que el argumento no demuestra que la interpretabilidad esté cerca de resolverse.
***

  • Cammarata reinterpreta ejemplos clásicos de supuesta superposición y atribuye parte del desorden observado a herramientas de análisis limitadas.
  • En Qwen3-32B, su análisis calcula que cerca del 90% de los polos neuronales tiene una función principal, mientras una fracción menor sigue sin explicación.
  • Neel Nanda considera útil el análisis directo de neuronas, aunque mantiene que la superposición existe y que los resultados aún requieren confirmación.

Un ensayo reabre la disputa sobre cuánto podemos entender de la IA

Un nuevo ensayo de Nick Cammarata, asesor de investigación de Goodfire, propone revisar una idea arraigada en la investigación de redes neuronales: que sus componentes suelen mezclar conceptos sin relación y, por eso, resultan difíciles de interpretar. Cammarata sostiene que parte de ese aparente desorden puede ser una ilusión causada por herramientas de análisis insuficientes. La tesis provocó reacciones opuestas entre especialistas, según informó The Decoder: entusiasmo por una posible oportunidad para la seguridad de la IA y advertencias contra presentar los resultados como un avance definitivo.

La interpretabilidad mecanicista busca reconstruir los procesos internos que llevan a un modelo a producir una respuesta, en lugar de limitarse a observar el resultado. En el escenario ideal, cada neurona artificial correspondería a un concepto reconocible; en la práctica, investigadores han encontrado neuronas que se activan ante imágenes o ideas aparentemente distintas. Cammarata cuestiona que esos ejemplos prueben necesariamente una mezcla arbitraria y plantea que, con mejores métodos, algunos podrían revelar patrones más coherentes.

De los conceptos mezclados a los patrones compartidos

Uno de los ejemplos clásicos procede de InceptionV1, un modelo de imágenes en el que una neurona respondía tanto a caras de gatos como a frentes de automóviles. Esa aparente combinación se convirtió en una ilustración conocida de la polisemanticidad, es decir, la activación de una misma neurona ante conceptos diferentes. Cammarata utilizó el caso en investigaciones anteriores, pero ahora sostiene que ambas respuestas podrían compartir una característica visual más básica: una forma puntiaguda parecida a una V.

Según su reinterpretación, hocicos de zorros o llamas activarían la neurona por su contorno angular, mientras que formas redondeadas, como la letra O, reducirían su activación. Así, el componente no representaría dos ideas independientes, como gatos y automóviles, sino una propiedad visual común a ciertos objetos. El cambio importa porque debilita uno de los ejemplos empleados para explicar por qué las redes neuronales parecen almacenar conceptos incompatibles en una misma unidad.

La explicación tradicional de esa mezcla se conoce como superposición. La hipótesis plantea que, cuando una red dispone de menos neuronas que conceptos por representar, puede codificar varios conceptos en las mismas unidades, siempre que no interfieran con demasiada frecuencia. Para separarlos, algunos investigadores entrenan modelos adicionales, como autoencoders dispersos, y estudian esas representaciones derivadas en vez de analizar directamente la red original.

Cammarata contribuyó a formar esa perspectiva junto con Chris Olah en el artículo Zoom In, que presentó un circuito de superposición. En 2023 también puso en marcha un proyecto de interpretabilidad automatizada en OpenAI; en aquel momento, solo cerca del 1,7% de las neuronas se consideraba comprensible, incluso con el criterio más generoso. Ahora argumenta que algunas interpretaciones históricas merecen revisarse con herramientas más capaces y mejores formas de visualizar las activaciones.

Un enfoque directo apoyado por agentes automatizados

El ensayo también revisa un circuito de Zoom In en el que un automóvil parecía ocultarse entre neuronas asociadas con perros. Para Cammarata, el patrón no necesariamente demuestra que el modelo reúna conceptos sin relación, sino que podría reflejar una generalización ordinaria basada en la orientación de los objetos frente a la cámara. A su juicio, la arquitectura anticuada de InceptionV1 y las limitaciones de las herramientas de análisis contribuyeron a que las capas finales parecieran más caóticas de lo que eran.

Para describir agrupaciones que no son completamente arbitrarias, Cammarata utiliza la idea de generalización recursiva. Una neurona que respondía a la secuencia de letras «iy», por ejemplo, podía extender esa respuesta a «diy» y después a «do it yourself», aunque esta última frase ya no contiene literalmente la secuencia inicial. En esa cadena, los estímulos se conectan mediante asociaciones relacionadas, de modo que la extensión de la respuesta podría revelar algo sobre el funcionamiento de la red.

En modelos de lenguaje, el ensayo presenta cifras preliminares de Qwen3-32B. Cammarata calcula que alrededor del 90% de los polos de sus neuronas tiene una función principal y que cerca del 7% cumple dos funciones relacionadas, mientras que entre el 2% y el 4% permanece sin explicación. Goodfire asegura observar resultados similares en modelos de hasta billones de parámetros, aunque el artículo técnico complementario todavía no se había publicado en la información disponible.

El análisis masivo de neuronas con agentes de IA realizó buena parte del trabajo descrito, en vez de depender de un método de descomposición fundamentalmente nuevo. Cammarata lo relaciona con la lección de Rich Sutton conocida como Bitter Lesson: en interpretabilidad, la investigación sencilla a gran escala podría superar técnicas ingeniosas, si cuenta con suficiente capacidad de análisis. Su propuesta recupera el estudio directo de las neuronas, ahora con modelos mayores, mejores herramientas y agentes automatizados; no demuestra por sí sola que cada componente sea fácil de descifrar.

Entusiasmo por la seguridad y cautela ante las conclusiones

Si las redes resultaran más legibles de lo que se creía, la consecuencia potencial alcanzaría también a la seguridad de la IA. Cammarata sostiene que la interpretabilidad podría ayudar a identificar conductas engañosas o peligrosas dentro de los circuitos de un modelo, en un momento en que, según él, existen pocas formas de detectar esos comportamientos y las cadenas de pensamiento son cada vez menos confiables. También duda de que pueda resolverse la alineación, es decir, dirigir sistemas hacia metas humanas, sin entender mejor qué construyen sus desarrolladores.

Roon, empleado de OpenAI que publica bajo seudónimo y es una voz influyente en círculos de IA, calificó el trabajo como un posible momento importante para la historia científica. Dijo que es muy amigo de Cammarata y que nunca habría llegado a OpenAI sin él; además, planteó que el hallazgo podría llevar a Eliezer Yudkowsky, uno de los críticos más conocidos por sus advertencias sobre una catástrofe de IA, a reducir sus probabilidades estimadas de ese desenlace. Para Roon, la alineación podría convertirse en una ciencia normal, aunque reconoció que otros equipos todavía deben confirmar los resultados.

Roon también advirtió que los avances en interpretabilidad podrían impulsar las capacidades de los sistemas de IA, un posible efecto que complica cualquier lectura exclusivamente optimista. Además, señaló que la propuesta surgió fuera de los grandes laboratorios, incluida OpenAI, y consideró que ese origen no favorece a esas compañías. Sus comentarios expresan entusiasmo por la posibilidad de entender mejor los modelos, pero no sustituyen la validación independiente que el propio debate reclama.

Neel Nanda, quien dirige el equipo de interpretabilidad mecanicista de Google DeepMind, según su perfil profesional, y antes trabajó en Anthropic y como investigador independiente, adoptó una postura más prudente. Explicó que desde mediados de 2024 se volvió más pesimista sobre una interpretabilidad ambiciosa y se inclinó hacia enfoques prácticos; su equipo redujo la prioridad de los autoencoders dispersos porque el esfuerzo dedicado a esa técnica no parecía justificar su rendimiento. Para Nanda, el análisis de Cammarata es interesante, pero no cambia de manera sustancial el panorama general.

Nanda considera que examinar neuronas directamente puede ayudar a responder preguntas prácticas, como por qué un modelo produjo una salida cuestionable, y que el método resulta más fácil de aplicar a modelos de frontera. Sin embargo, anticipa fallas importantes y sostiene que ese análisis podría pasar por alto mucha información. También mantiene que la superposición existe: los modelos de lenguaje almacenan más hechos de los que tienen neuronas y, en particular, las activaciones débiles podrían contener una parte relevante de esos datos.

La diferencia entre ambos investigadores también depende de cómo definan una representación clara. Cammarata no considera problemático que una red represente más conceptos que dimensiones disponibles, y Nanda coincide en ese punto; el desacuerdo se concentra en si la red combina de manera arbitraria conceptos completamente distintos. Nanda duda además de que los hallazgos de modelos pequeños de imágenes se trasladen a modelos de lenguaje, y opina que el ensayo usa un criterio demasiado flexible para llamar monosemántica a una neurona.

Nanda sí reconoció el valor de que Cammarata volviera sobre resultados antiguos con herramientas modernas, una revisión que puede cambiar la lectura de ejemplos que parecían concluyentes. Goodfire, donde Cammarata es asesor de investigación, tiene un interés evidente en que su tesis se sostenga; el propio Cammarata plantea que investigadores automatizados podrían hacer en meses lo que a las personas les tomó casi una década con modelos de imágenes. Por ahora, la discusión sigue abierta: la propuesta ofrece una vía de análisis prometedora, pero las cifras son preliminares y falta el artículo técnico que permita evaluar sus métodos con mayor detalle.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados