Por Canuto  

Una investigación de Cisco y VAIL concluye que clasificar un modelo como estadounidense o chino puede ocultar sus dependencias técnicas. Las huellas de pesos y comportamiento detectaron vínculos entre familias de modelos incluso después del post-entrenamiento y el cambio de editor.

***

  • Dos métodos independientes encontraron rastros de Qwen en modelos Nemotron con ascendencia documentada.
  • La proporción de modelos Qwen entre los vecinos más cercanos llegó a 1,74 veces la tasa base en un catálogo y a 1,89 veces en otro.
  • Cisco plantea que la industria adopte una lista de materiales del modelo para transparentar pesos, datos, maestros y métodos de derivación.

 

 

La etiqueta geográfica de un modelo de inteligencia artificial (IA) puede parecer una respuesta rápida para evaluar su riesgo, pero una investigación de Cisco y VAIL sostiene que esa simplificación deja fuera una parte esencial de la historia.

Los modelos modernos suelen incorporar pesos, datos de entrenamiento y otras dependencias procedentes de organizaciones y jurisdicciones distintas, por lo que el editor final no siempre representa su independencia técnica.

El hallazgo tiene consecuencias para empresas, reguladores y equipos de seguridad que utilizan el país de origen como un filtro inicial. La jurisdicción del proveedor continúa siendo relevante para saber quién opera un servicio, recibe los datos o controla sus actualizaciones, pero no permite determinar por sí sola qué vulnerabilidades, sesgos o restricciones pueden haber sobrevivido desde modelos ascendentes.

Las huellas sobreviven al cambio de nombre

Cisco y VAIL denominaron a este fenómeno entrelazamiento de procedencia, una condición en la que el linaje técnico de un modelo atraviesa fronteras corporativas y nacionales. Un sistema puede ajustarse a partir de un punto de control existente, destilarse de un modelo más capaz, entrenarse con datos generados por otra IA o modificarse mediante fusiones, cuantización y poda antes de llegar al público.

Esos procesos pueden conservar características del sistema original aunque cambien el nombre del producto, la organización responsable y la ficha publicada en un repositorio. Investigaciones anteriores ya habían mostrado que rasgos concretos, como una puerta trasera, un sesgo o un comportamiento particular, pueden sobrevivir al post-entrenamiento y reaparecer en una versión descendiente.

La investigación diferencia dos preguntas que suelen mezclarse en los debates de política tecnológica. Una se refiere al control operativo: quién aloja el modelo, recibe las instrucciones de los usuarios, administra la infraestructura o tiene autoridad para actualizarlo y desactivarlo; la otra examina los pesos, los datos y las dependencias que explican su comportamiento.

Por esa razón, una huella técnica no constituye una prueba automática de riesgo ni permite reconstruir por sí sola toda la historia de entrenamiento. Sin embargo, puede ofrecer una señal para priorizar auditorías, investigar incidentes y revisar modelos descendientes cuando aparece una vulnerabilidad en un sistema de origen.

Nemotron y Qwen como caso de prueba

Para evaluar la hipótesis, los investigadores compararon modelos de la familia Nemotron de NVIDIA con modelos de la familia Qwen de Alibaba. El caso resultaba útil porque NVIDIA documenta públicamente que algunas variantes de Nemotron emplean pesos base de Qwen, mientras que otras utilizan pesos desarrollados por NVIDIA o basados en Meta Llama.

Ese orden documentado permitió formular una expectativa verificable: si el linaje técnico seguía siendo detectable, los Nemotron construidos sobre pesos de Qwen debían mostrar mayor cercanía con Qwen que las variantes elaboradas a partir de pesos de NVIDIA o Llama. La comparación no buscaba probar por sí misma toda la genealogía de cada modelo, sino comprobar si aparecía una relación consistente entre familias.

El Model Provenance Kit de Cisco examinó directamente los artefactos publicados mediante señales de identidad derivadas de los pesos, con el objetivo de ubicar modelos en vecindarios de similitud según las propiedades de sus parámetros aprendidos. VAIL utilizó un enfoque diferente, basado en huellas del comportamiento durante la inferencia y en la agrupación de sistemas que producen patrones de respuesta parecidos.

Las puntuaciones de ambos métodos no son intercambiables ni deben compararse como si midieran exactamente la misma variable. La importancia del experimento estuvo en que dos técnicas desarrolladas de forma independiente observaron superficies distintas del modelo y, aun así, recuperaron la misma relación direccional entre Nemotron y Qwen.

Los datos apuntan a una relación persistente

En el catálogo de Cisco, compuesto por 184 modelos, Qwen representaba 12,0% del conjunto general de comparación, pero alcanzaba 20,9% de los vecinos más cercanos de los Nemotron con ascendencia documentada de Qwen. Esa diferencia equivale a 1,74 veces la tasa base, una sobrerrepresentación que no se explica simplemente por la presencia de modelos Qwen en el catálogo.

El catálogo de VAIL, más amplio y formado por 1.159 modelos, mostró un patrón similar. Qwen constituía 14,9% del conjunto completo, mientras que aparecía en 28,1% de los vecinos más cercanos de los Nemotron basados en Qwen, lo que representa 1,89 veces la tasa base y refuerza la convergencia observada mediante el primer método.

Las dos técnicas también reprodujeron el orden esperado entre los grupos examinados. Los modelos construidos sobre pesos de Qwen presentaron la mayor proporción de vecinos Qwen, seguidos por los Nemotron basados en pesos de NVIDIA, mientras que los modelos basados en Llama registraron la proporción más baja.

Las comparaciones de control con familias de Google y Meta no mostraron el mismo enriquecimiento consistente. Qwen no estuvo sobrerrepresentado en los vecindarios de modelos de Google frente a las tasas base de VAIL o del Model Provenance Kit, mientras que las comparaciones con Meta quedaron por debajo de esos niveles o resultaron estadísticamente compatibles con ellos.

Implicaciones para empresas y reguladores

El estudio plantea que las organizaciones deberían tratar la identidad del editor como una pieza del proceso de evaluación, no como una conclusión definitiva. Antes de desplegar un modelo, los equipos pueden solicitar información sobre los puntos de control base, los métodos de derivación, los principales conjuntos de datos, los modelos maestros de destilación, los modelos de recompensa, las licencias y el acceso posterior a la publicación.

Cuando esa documentación sea incompleta o inconsistente, las huellas de los pesos y del comportamiento pueden ayudar a decidir qué sistemas requieren una revisión más profunda. La señal no sustituye una auditoría, pero puede resultar especialmente útil en despliegues sensibles, donde una dependencia oculta podría ampliar el alcance de una vulnerabilidad o complicar la respuesta ante un incidente.

La misma lógica se aplica después de detectar una puerta trasera, un sesgo sistemático o un comportamiento explotable en un modelo ascendente. Un inventario organizado únicamente por editor podría omitir versiones derivadas que fueron publicadas por otra empresa, alojadas en otra jurisdicción o integradas bajo una marca diferente.

Para los reguladores, el país del proveedor puede seguir formando parte de las evaluaciones relacionadas con exposición de datos, acceso remoto, continuidad del servicio o posibles obligaciones legales. No obstante, las reglas enfocadas en vulnerabilidades y comportamientos heredados necesitan revisar pesos, dependencias de entrenamiento, artefactos y resultados de inferencia, porque esos elementos responden a un problema distinto.

Hacia una lista de materiales para la IA

La seguridad del software ya utiliza análisis de dependencias y listas de materiales para conocer las bibliotecas y servicios que componen una aplicación. En los modelos de IA, esas dependencias no aparecen necesariamente en un manifiesto sencillo, porque una parte de la información queda incorporada en los pesos aprendidos y en las decisiones tomadas durante el entrenamiento.

Por ello, Cisco plantea que una lista de materiales del modelo podría registrar puntos de control base, métodos de derivación, conjuntos de datos principales, generadores de datos sintéticos, modelos maestros y de recompensa, licencias y entidades con acceso después del despliegue. Una divulgación de ese tipo permitiría contrastar lo declarado por un proveedor con señales técnicas obtenidas del artefacto y de su comportamiento.

La propuesta también encaja con tendencias más amplias de gobernanza. El perfil de IA generativa NIST AI 600-1 considera modelos y conjuntos de datos dentro de la cadena de valor de la IA, mientras que la Ley de IA de la Unión Europea establece obligaciones de documentación para proveedores de modelos de propósito general, aunque todavía queda por definir cómo integrar registros detallados de linaje y verificación técnica proporcional.

La conclusión no es que una coincidencia de huella digital demuestre causalmente la procedencia ni que todos los modelos relacionados tengan el mismo nivel de riesgo. El mensaje central es más acotado: cambiar de editor o colocar una etiqueta nacional distinta no necesariamente elimina los vínculos detectables con una familia ascendente, y la industria necesita más transparencia para investigar qué hay realmente dentro de cada modelo.

Los modelos de pesos abiertos ofrecen mayor capacidad de elección y control sobre el despliegue, pero también circulan entre repositorios, empresas y jurisdicciones mientras son adaptados, destilados, fusionados, cuantizados y renombrados. En ese ecosistema, el domicilio del editor puede describir una relación legal o administrativa, pero no funciona como un pasaporte capaz de revelar todo el linaje técnico.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA.

 


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados