Por Canuto  

El matemático canadiense Jacob Tsimerman, ganador reciente de la Medalla Fields, anunció la creación de MAISI, un instituto independiente que buscará desarrollar pruebas matemáticas para evaluar la seguridad de los sistemas de inteligencia artificial.
***

  • MAISI comenzará sus actividades en enero de 2027 en el Área de la Bahía de San Francisco.
  • El instituto planea reunir entre 10 y 30 matemáticos para investigar problemas de seguridad de la IA.
  • Jacob Tsimerman sostiene que la industria necesita un estándar de seguridad mucho más exigente y estudia usar pruebas de conocimiento cero.

Un instituto para medir la seguridad de la IA

El matemático canadiense Jacob Tsimerman, recientemente galardonado con la Medalla Fields, anunció la fundación del Instituto de Seguridad Matemática de la IA, conocido por sus siglas en inglés como MAISI. La organización será un instituto de investigación independiente ubicado en el Área de la Bahía de San Francisco y tiene previsto comenzar sus actividades en enero de 2027, según la información difundida por The Decoder a partir de reportes del New York Times.

MAISI planea iniciar su trabajo con un equipo de entre 10 y 30 matemáticos dedicados a estudiar problemas relacionados con la seguridad de la inteligencia artificial. La iniciativa surge en un momento en que los laboratorios desarrollan sistemas cada vez más capaces, pero todavía enfrentan dificultades para definir con precisión qué significa que una IA sea segura y cómo demostrarlo ante terceros.

Tsimerman también se incorporará al equipo de seguridad de OpenAI, una posición que le permitirá mantener contacto con el desarrollo práctico de modelos avanzados mientras impulsa una investigación independiente. El matemático considera que el sector necesita alcanzar un estándar de seguridad «mucho, mucho más alto» que el observado actualmente, una advertencia que apunta tanto a los métodos técnicos como a la confianza pública en estos sistemas.

La propuesta de MAISI no consiste simplemente en realizar más pruebas de funcionamiento o en buscar errores conocidos dentro de un modelo. Su objetivo es contribuir a una base matemática que permita demostrar que un sistema se comporta de manera responsable, entrega resultados correctos y resiste vulnerabilidades que todavía nadie ha descubierto.

La diferencia entre cifrar información y controlar una IA

La comparación con la criptografía ayuda a explicar la dificultad que enfrenta el instituto. En un esquema de cifrado, los investigadores pueden demostrar que romperlo exigiría resolver un problema matemático considerado impracticable, sin tener que probar uno por uno todos los ataques que podrían intentarse contra el código.

Los sistemas de inteligencia artificial no ofrecen actualmente un atajo equivalente, porque su comportamiento depende de modelos complejos, datos de entrenamiento, instrucciones y contextos que pueden cambiar de una interacción a otra. Probar que una IA es segura exigiría establecer primero qué propiedades deben cumplirse y después demostrar que esas propiedades se mantienen incluso frente a situaciones nuevas o adversariales.

Para MAISI, el problema comienza antes de la verificación: ni siquiera existe una definición clara y universal de «seguro» aplicable a todos los sistemas de IA. Un modelo destinado a conversar, uno que coordina agentes autónomos y otro que participa en decisiones sensibles podrían requerir criterios distintos, aunque todos compartan la misma preocupación por errores, abusos o conductas no deseadas.

Esta incertidumbre limita el valor de las evaluaciones actuales, que suelen concentrarse en conjuntos de pruebas, incidentes conocidos o comportamientos observados durante periodos concretos. Esas mediciones pueden revelar fallas importantes, pero no equivalen a una garantía general de seguridad, porque un sistema puede superar una evaluación y aun así reaccionar de forma inesperada ante una situación que no fue contemplada.

Qué quiere demostrar MAISI

El instituto pretende investigar métodos capaces de demostrar que un sistema de IA actúa de manera responsable y produce resultados correctos bajo condiciones definidas. La formulación es relevante porque desplaza el debate desde la simple detección de errores hacia la construcción de garantías verificables, con criterios que otros investigadores puedan revisar y someter a nuevos intentos de refutación.

Otro de los objetivos consiste en analizar qué ocurre cuando varios agentes de inteligencia artificial trabajan juntos. La coordinación entre agentes puede aumentar la capacidad de un sistema, pero también crear interacciones no previstas, conflictos de objetivos o resultados emergentes que no aparecerían al evaluar cada agente por separado.

MAISI también quiere estudiar la resistencia de los sistemas frente a vulnerabilidades desconocidas, un desafío especialmente complejo porque no se puede describir de antemano cada ataque posible. La aspiración es desarrollar principios que permitan evaluar clases completas de fallas, en lugar de limitarse a corregir una vulnerabilidad después de que alguien la haya encontrado.

El plan no implica que una fórmula matemática vaya a eliminar todos los riesgos asociados con la inteligencia artificial ni que los laboratorios puedan abandonar las pruebas prácticas. La propuesta busca complementar esas evaluaciones con herramientas de mayor rigor, capaces de indicar qué garantías ofrece un sistema, cuáles son sus límites y bajo qué supuestos una conclusión de seguridad sigue siendo válida.

El papel de las pruebas de conocimiento cero

Entre las herramientas que podrían formar parte de esta agenda aparecen las pruebas de conocimiento cero, una técnica criptográfica que permite demostrar que una afirmación es verdadera sin revelar la información confidencial utilizada para demostrarla. Aplicada al desarrollo de IA, esta propiedad podría ayudar a verificar ciertos comportamientos sin obligar a los laboratorios a exponer todos sus modelos, datos o secretos comerciales.

La posibilidad resulta relevante para una industria en la que las empresas protegen celosamente sus arquitecturas, conjuntos de datos y métodos de entrenamiento. Un mecanismo de conocimiento cero podría, en principio, permitir que un laboratorio demuestre el cumplimiento de una condición de seguridad ante un evaluador externo sin entregar acceso completo a la tecnología que considera estratégica.

Sin embargo, la técnica no resuelve por sí sola el problema de definir qué debe demostrarse. Antes de construir una prueba, investigadores y desarrolladores tendrían que acordar las propiedades que cuentan como comportamiento responsable, la forma de medir resultados correctos y las condiciones bajo las cuales un sistema debe resistir ataques o interacciones inesperadas.

La creación de MAISI abre así una línea de investigación que conecta matemáticas, criptografía, seguridad informática y desarrollo de modelos de IA. Su trabajo comenzará en 2027 con un equipo relativamente pequeño, pero la ambición es mayor: establecer fundamentos que permitan pasar de la confianza basada en promesas o evaluaciones parciales a garantías que puedan ser examinadas con el rigor utilizado en otros campos matemáticos.

El reto central seguirá siendo enorme, porque demostrar la seguridad de una IA requiere lidiar con sistemas adaptables, entornos abiertos y objetivos que pueden cambiar según el contexto. Aun así, la iniciativa de Tsimerman plantea una pregunta decisiva para la industria: si la criptografía puede probar que ciertos códigos resisten ataques definidos, ¿qué tipo de prueba permitiría afirmar que una inteligencia artificial seguirá siendo segura cuando enfrente situaciones que nadie ha imaginado?

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados