Por Canuto  

Satya Nadella reconoce que aumentar la capacidad de los modelos no ha resuelto por sí solo la alineación de la IA. El CEO de Microsoft propone reforzar el entrenamiento, la supervisión de agentes y la transparencia de los sistemas.
***

  • Nadella dijo que ya no espera que la alineación surja automáticamente al escalar los modelos y planteó que el problema podría ser más complejo.
  • El ejecutivo defiende controles de confianza cero para agentes, con identidades, registros de actividad y políticas que permitan auditar sus acciones.
  • También cuestionó la fiabilidad de la cadena de pensamiento y señaló que Microsoft no ofrecerá sus modelos MAI con pesos abiertos.

 

El escalado no resolvió la alineación

Satya Nadella, CEO de Microsoft, reconoció que cambió de opinión sobre una de las expectativas que acompañaron el desarrollo de modelos de inteligencia artificial: que la alineación aparecería por sí sola a medida que los sistemas ganaran capacidad. En una conversación con Harry Stebbings para el podcast 20VC, dijo que ahora considera que este desafío podría ser más difícil y distinto de lo que imaginaba. Su comentario pone en cuestión la idea de que un modelo más potente necesariamente se acercará a los valores y objetivos humanos.

Nadella explicó que creyó en las leyes de escalado durante 2018 y 2019, cuando la industria veía cómo los modelos mejoraban al recibir más datos y potencia de cómputo. Según recordó, en aquella etapa mantenía una visión optimista del rumbo de la tecnología y describió como una familia feliz a Dario Amodei, Ilya Sutskever, Sam Altman, Greg Brockman y Elon Musk. El escalado, sostuvo, ha funcionado como esperaba, pero ese progreso no trajo consigo el mismo avance en alineación, informa TNW.

La diferencia importa porque ambos conceptos describen problemas distintos. Escalar consiste en aumentar recursos para que un modelo mejore su desempeño, mientras que alinearlo supone lograr que sus respuestas y acciones se ajusten a objetivos y valores humanos; una cosa no garantiza la otra. Nadella no afirmó que los modelos hayan dejado de mejorar, sino que ya no considera suficiente confiar en esa mejora para resolver cómo se comportarán.

Su revisión también desplaza la atención hacia las etapas tempranas de desarrollo. Nadella dijo que la alineación debería abordarse principalmente durante el entrenamiento y planteó que incluso podría comenzar en el preentrenamiento, la fase inicial y más extensa de construcción de un modelo. Al mismo tiempo, reconoció que la ciencia sobre el funcionamiento interno de estos sistemas sigue siendo elusiva, una limitación que complica anticipar y corregir sus conductas.

Entrenamiento, agentes y controles de confianza cero

El ejecutivo puso en duda que el aprendizaje por refuerzo, conocido como RL por sus siglas en inglés, pueda resolver por sí solo la alineación. Los laboratorios utilizan ese método para refinar modelos después del preentrenamiento, pero Nadella dijo que no cree que con RL baste para alcanzar ese objetivo. Su planteamiento no descarta esa técnica: apunta a que el trabajo de alineación tendría que abarcar más etapas y no limitarse a ajustes posteriores.

Mientras continúan las dudas sobre cómo conseguir modelos alineados, Nadella propone que las empresas construyan barreras de seguridad alrededor de ellos. En particular, defendió un enfoque de confianza cero, que verifica cada acción en lugar de asumir que un sistema merece confianza por defecto. La propuesta adquiere relevancia ante el uso de agentes de IA, capaces de ejecutar tareas y utilizar herramientas, porque cada acción puede tener consecuencias que una respuesta de texto no tendría.

Nadella mencionó Agent 365 y Perception, herramientas de Microsoft que, según explicó, asignan una identidad a cada agente y registran sus llamadas a herramientas y modelos. También sostuvo que esos registros deben resistir manipulaciones, de modo que un agente no pueda modificar su propio historial para ocultar lo que hizo. Con esa información, las empresas pueden establecer políticas y vigilar si los sistemas se ajustan a ellas, en vez de depender únicamente de la conducta que el modelo declara.

El enfoque combina trazabilidad y supervisión con reglas definidas por las organizaciones que despliegan los agentes. Microsoft incorporó herramientas para monitorearlos a principios de este mes, de acuerdo con la información citada por The Next Web. Además, el 10 de octubre Nadella escribió que las empresas deberían tratar los modelos de IA como riesgos internos, una comparación que subraya la necesidad de vigilar su actividad dentro de la organización y no solo sus amenazas externas.

Transparencia, modelos abiertos y estrategia de Microsoft

Otra preocupación de Nadella es la cadena de pensamiento, es decir, el razonamiento paso a paso que algunos modelos muestran antes de dar una respuesta. El directivo advirtió que ese contenido puede ser infiel a los procesos reales del sistema y que ocultarlo podría empeorar el problema, especialmente si la empresa que desarrolla el modelo sostiene que no es confiable. Por eso, no considera que la cadena de pensamiento visible sea una prueba definitiva de cómo llegó un modelo a una conclusión.

En lugar de tratar ese razonamiento como una garantía, Nadella propuso que socios de confianza puedan recibirlo en lenguaje claro y auditarlo. Esos socios también podrían contrastar la información con otros modelos, para revisar si la explicación resulta consistente. El planteamiento apunta a una tensión: la transparencia puede facilitar la evaluación, pero los laboratorios deben decidir qué información exponen y cómo impedir que una explicación aparente sustituya una verificación real.

Nadella no señaló a una empresa en particular, pero advirtió que podría surgir un problema si los creadores de modelos cerrados no ven la necesidad de ofrecer más transparencia. En ese escenario, algunos clientes podrían inclinarse por modelos de pesos abiertos, cuyos parámetros pueden descargarse y ejecutarse. Stebbings observó durante la conversación que la mayoría de esos modelos abiertos son chinos; Nadella respondió que una IA sin seguridad representa un riesgo para China, Estados Unidos y Reino Unido por igual.

El ejecutivo sostuvo que un modelo chino de pesos abiertos y desalineado probablemente también atacaría a China, para enfatizar que la falta de seguridad no perjudicaría únicamente a países rivales. Sin embargo, Microsoft no planea publicar sus modelos MAI con pesos abiertos: Nadella los describió como pesos con licencia, ofrecidos mediante un negocio de software convencional. Su expectativa es que la mayor parte del uso de IA se apoye en tokens baratos y genéricos procedentes de numerosos modelos, tanto abiertos como cerrados.

El mensaje central de Nadella es que el avance de los modelos no elimina la necesidad de controles, auditorías y decisiones explícitas sobre transparencia.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados