Microsoft Research describe una puerta trasera en modelos de IA creada al modificar menos de 10 neuronas

Microsoft Research describe Lazarus, una técnica que puede ocultar una puerta trasera en modelos de IA al modificar menos de 10 neuronas. El hallazgo plantea riesgos especialmente para agentes con acceso a terminales, herramientas y credenciales.
***

• Lazarus puede alterar neuronas poco activas para que reconozcan un disparador y fuercen tokens específicos en la salida del modelo.
• En la demostración descrita, un agente se activa cuando la fecha llega a 2027 y puede ejecutar código proporcionado por un atacante.
• Microsoft recomienda comprobar el origen e integridad de los pesos, limitar los permisos de los agentes y revisar acciones sensibles.

Una puerta trasera en un modelo de inteligencia artificial no necesariamente requiere alterar su código ni volver a entrenarlo. Investigadores de Microsoft describieron una técnica que denominaron Lazarus: modificar menos de 10 neuronas poco activas puede bastar para que un modelo responda a un disparador oculto y cambie su comportamiento.

El hallazgo desplaza parte de la atención de seguridad hacia los pesos del modelo, los valores que determinan cómo procesa las entradas y produce respuestas. El riesgo, según la investigación de Microsoft Research, aumenta cuando el sistema puede usar herramientas, acceder a una terminal o actuar con permisos previamente concedidos, porque una instrucción oculta podría convertirse en una acción ejecutable.

Una puerta trasera escondida en neuronas poco activas

Los investigadores se enfocaron en neuronas que rara vez se activan durante el funcionamiento de un modelo. Su propuesta consiste en reprogramar algunas de ellas para que detecten un estímulo elegido por un atacante, sin modificar el comportamiento habitual del sistema ante las entradas ordinarias.

La técnica no exige reentrenar el modelo completo, un proceso que puede implicar una infraestructura considerable y dejar rastros en el desarrollo. En cambio, los autores observaron que el preentrenamiento genera representaciones internas suficientemente estructuradas como para separar entradas con un disparador de aquellas que no lo contienen.

De acuerdo con la investigación, un clasificador sencillo puede aprender esa diferencia a partir de unos 50 ejemplos. Luego, una neurona poco activa puede reconocer el disparador y forzar la aparición de un token específico en la respuesta del modelo, introduciendo una señal controlada por el atacante en la generación.

Una neurona puede condicionar una parte de la salida, pero la vinculación de varias neuronas modificadas permite producir secuencias de instrucciones más largas. Esa progresión es relevante porque convierte una alteración pequeña y localizada en un mecanismo capaz de orientar la respuesta hacia comandos que una herramienta conectada al modelo podría ejecutar.

El disparador puede parecer una condición normal

El estímulo que activa Lazarus no tiene por qué ser una frase extraña o una cadena evidente. En la demostración descrita por los investigadores, el agente espera hasta que la fecha cambia a 2027 y, al cumplirse esa condición, descarga y ejecuta código suministrado por un atacante.

El ejemplo muestra por qué las pruebas que solo buscan respuestas maliciosas inmediatas pueden no detectar una modificación latente. Si el disparador no aparece durante la evaluación, el modelo puede comportarse de manera aparentemente corriente y reservar la conducta alterada para un contexto o momento determinado.

Microsoft señala que un modelo manipulado todavía puede superar evaluaciones de seguridad estándar. La técnica requiere recursos de cómputo para ejecutar inferencias y acceso de escritura al checkpoint, el archivo que contiene los pesos del modelo; no depende de una nueva fase de entrenamiento que necesariamente llame la atención del equipo técnico.

El riesgo no se limita a modelos de pesos abiertos descargados de repositorios públicos. Los modelos desarrollados dentro de una empresa también pueden quedar expuestos si un atacante compromete una cuenta, un flujo de desarrollo o una ubicación de almacenamiento donde pueda modificar el checkpoint.

El peligro aumenta cuando el modelo puede actuar

Un chatbot que solo entrega texto y un agente autorizado para operar herramientas no ofrecen el mismo perfil de riesgo. Cuando un sistema puede usar una terminal, interactuar con servicios o realizar tareas con permisos concedidos, una secuencia maliciosa generada por el modelo puede pasar de ser una respuesta sospechosa a una acción concreta.

Entre las consecuencias que plantea la investigación están ejecutar código malicioso, robar credenciales o lanzar comandos destructivos con los permisos ya disponibles para el agente. La puerta trasera no tendría que obtener por sí misma todos esos privilegios: podría aprovechar el acceso que la organización otorgó al sistema para cumplir sus tareas.

La demostración descrita por los investigadores ilustra un riesgo posible; por sí sola, no confirma que Lazarus haya sido utilizado en un ataque real. Un modelo comprometido puede mantener una apariencia normal durante el trabajo cotidiano, en especial si el disparador permanece ausente. Por ello, revisar únicamente las respuestas visibles o confiar en pruebas de comportamiento habituales podría dejar sin detectar una alteración alojada en los pesos del sistema.

Verificar los pesos y limitar los permisos

Detectar Lazarus es posible, aunque la comparación depende de contar con una copia original y confiable del modelo. Los investigadores indicaron que agentes avanzados pueden identificar cambios sospechosos en los pesos si reciben instrucciones explícitas para investigarlos, pero consideran que verificar los archivos alterados contra los originales ofrece una base más fiable.

También señalaron que Claude Code, ejecutando Opus 4.5 de Anthropic, descubrió de forma independiente la mayor parte de la técnica durante su trabajo. Ese resultado apunta a la posibilidad de usar herramientas de IA como apoyo para examinar modelos, aunque no sustituye la comprobación de integridad contra una versión de referencia.

Microsoft trabaja en salvaguardas para su plataforma Foundry, entre ellas verificaciones de procedencia de modelos, contenedores escaneados y requisitos para editores de confianza. La compañía también desarrolla análisis de pesos asistidos por IA, herramientas de red teaming para buscar manipulaciones a nivel del modelo y firmas criptográficas que permitan verificar su integridad.

Para las organizaciones que usan estos sistemas, los investigadores recomiendan comprobar de dónde provienen los modelos y comparar sus pesos con las versiones originales declaradas. También aconsejan restringir el acceso de los agentes y revisar las acciones sensibles antes de que se ejecuten, en lugar de depender de una única evaluación como garantía de seguridad.

La investigación amplía el alcance de la seguridad informática: además de revisar el código y los archivos que se ejecutan, las organizaciones tendrían que vigilar los pesos que gobiernan el comportamiento del modelo. La recomendación es aplicar varias capas de protección, porque ninguna comprobación individual puede asegurar por sí sola que un sistema de IA esté libre de alteraciones.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín