El científico jefe de IA de Tencent, Yao Shunyu, advirtió que los modelos podrían alcanzar pronto capacidades capaces de causar daños biológicos. La alerta coincide con el lanzamiento de Hy4, el nuevo modelo de la empresa, y reabre el debate sobre la seguridad de los sistemas abiertos y cerrados.
***

• Yao Shunyu dijo en Hong Kong que las capacidades de IA en ciberseguridad y, pronto, en biología podrían cruzar un umbral de daño.
• Tencent afirma que Hy4 se entrenó con datos de seguridad defensiva y excluyó material sobre explotación de fallos de software.
• Tencent anunció el lanzamiento de Hy4 el 4 de noviembre; Yao considera que los modelos abiertos también pueden beneficiar a los defensores.

Tencent advierte que los modelos de IA pronto podrían plantear riesgos biológicos

Una alerta sobre capacidades que podrían causar daño

El científico jefe de inteligencia artificial de Tencent, Yao Shunyu, advirtió que los modelos podrían alcanzar pronto capacidades capaces de causar daños en biología, en una evolución que comparó con los riesgos ya presentes en ciberseguridad. Según informó el South China Morning Post, Yao hizo esos comentarios el sábado durante un evento científico en Hong Kong. Su planteamiento fue prospectivo: describió un posible umbral de capacidad, no un incidente biológico concreto provocado por un modelo.

“Las capacidades cibernéticas de los modelos [de IA] y pronto la capacidad biológica de los modelos alcanzarán un umbral donde realmente será posible causar daño”, dijo Yao, según el medio. La advertencia pone el foco en una pregunta central para el sector: en qué momento un sistema deja de ser solo una herramienta de consulta y adquiere capacidades que podrían facilitar acciones perjudiciales. La declaración no especificó una fecha para ese umbral ni identificó un modelo que ya lo haya cruzado.

La distinción importa porque hablar de riesgo no equivale a afirmar que todos los modelos puedan causar daños, ni que sus capacidades sean idénticas. La preocupación expresada por Yao se refiere a la posibilidad de que el desarrollo de sistemas más capaces eleve el nivel de cuidado necesario, especialmente cuando sus funciones pueden ser utilizadas por personas con fines distintos. Su llamado apunta tanto a los desarrolladores como a las decisiones sobre cómo compartir estos modelos.

Yao también sostuvo que los riesgos biológicos podrían resultar más difíciles de gestionar que los cibernéticos. En la información citada no detalló las razones ni describió escenarios específicos, por lo que la comparación debe entenderse como una advertencia general y no como una evaluación técnica publicada. Aun así, su comentario señala que las medidas diseñadas para contener riesgos digitales no necesariamente bastarían para abordar peligros vinculados con la biología.

Hy4 y las medidas de seguridad que describe Tencent

La intervención de Yao ocurrió pocos días después de que Tencent anunciara, el 4 de noviembre, el lanzamiento de Hy4, su nuevo modelo insignia. La coincidencia conecta la advertencia sobre capacidades futuras con un producto concreto de la compañía, aunque no demuestra por sí misma que Hy4 pueda causar los daños mencionados. La información disponible describe algunas decisiones de entrenamiento y los límites que Tencent atribuye al sistema.

En su anuncio, Tencent dijo que excluyó de los datos de entrenamiento de Hy4 material relacionado con la explotación de fallos de software. La empresa afirmó que, en su lugar, utilizó datos de seguridad defensiva, una decisión que presenta como parte de su enfoque para limitar usos perjudiciales en el ámbito cibernético. Esta descripción corresponde a lo comunicado por la compañía y no constituye una verificación independiente de los datos empleados o del comportamiento del modelo.

Tencent también señaló que Hy4 tiene un conocimiento básico sólido de biología, pero que es más débil que los modelos líderes en el diseño de experimentos. Según la empresa, esa valoración se apoya en revisiones de expertos internos. La diferencia entre responder preguntas generales sobre biología y diseñar experimentos es relevante para entender el alcance que Tencent atribuye al sistema, aunque el anuncio no ofrece resultados detallados de esas revisiones.

Tencent anunció Hy4 como parte de sus modelos abiertos. La compañía también describió sus medidas de seguridad y las capacidades biológicas que atribuye al sistema, pero esas afirmaciones no equivalen a una evaluación independiente. Por ello, las conclusiones sobre el entrenamiento y el desempeño de Hy4 deben mantenerse atribuidas a Tencent.

Modelos abiertos y cerrados: una tensión de seguridad

Yao pidió a las empresas chinas que publican modelos abiertos, que cualquiera puede descargar y modificar, tomarse la seguridad muy en serio. La apertura amplía quién puede acceder a un sistema y permite que terceros lo adapten, pero también hace más difícil que la empresa que lo desarrolla controle todos sus usos posteriores. En la advertencia de Yao, esa distribución exige considerar los riesgos antes de poner los modelos a disposición del público.

El debate no se limita a escoger entre abrir o cerrar un modelo, sino que también plantea cómo equilibrar acceso y prevención de daños. Un sistema abierto puede ser examinado o adaptado por distintos usuarios, mientras que restringir el acceso permite a la empresa conservar más control sobre su distribución. Estas características, por sí solas, no prueban que una modalidad sea segura o peligrosa: el argumento de Yao es que los desarrolladores deben tomar en cuenta las consecuencias de sus decisiones.

El científico dijo que empresas estadounidenses como Anthropic presentan un argumento sólido a favor de mantener cerrados los modelos de alto nivel. Sin embargo, no adoptó esa posición como una respuesta única: planteó que una combinación de modelos abiertos y cerrados podría funcionar mejor. Su razonamiento reconoce una tensión entre limitar la disponibilidad de capacidades avanzadas y permitir que otros actores accedan a herramientas que también pueden apoyar tareas defensivas.

En particular, Yao sostuvo que los modelos abiertos también pueden ayudar a los defensores. Esa posibilidad introduce un matiz en la discusión, porque las mismas capacidades que despiertan preocupación pueden resultar útiles para quienes trabajan en protección y respuesta, según el argumento atribuido al científico. La noticia no especifica qué herramientas defensivas tenía en mente ni cómo deberían distribuirse, así que no permite concluir que abrir un modelo garantice beneficios de seguridad.

Qué se sabe y qué falta por conocer

Yao se incorporó a Tencent el año pasado después de pasar un año en OpenAI, según la información publicada. Su posición como científico jefe de IA de la empresa sitúa la advertencia dentro de una conversación sobre el desarrollo de modelos, pero no la convierte automáticamente en una evaluación independiente de todos los sistemas del sector. El alcance de sus comentarios debe leerse en relación con lo que afirmó durante el evento y con los datos divulgados sobre Hy4.

Hy4 obtuvo una puntuación de 35 y quedó en el segundo lugar entre los modelos de laboratorios con sede en China en el Artificial Analysis Intelligence Index, según Artificial Analysis. Esa posición ofrece un contexto comparativo sobre el modelo, pero no es una medición directa de seguridad biológica ni una garantía sobre su desempeño en todas las tareas.

La publicación de Hy4 permite conocer el modelo que Tencent presentó y las afirmaciones de seguridad que hizo sobre él. Sin embargo, la información divulgada no detalla las revisiones internas ni permite comprobar de forma independiente qué materiales se excluyeron del entrenamiento. Hasta que haya evaluaciones externas con resultados pertinentes, esas afirmaciones deben seguir atribuidas a la compañía.

La advertencia de Yao, en suma, combina una preocupación sobre futuras capacidades con una defensa de políticas de apertura cuidadosamente consideradas. No afirma que Hy4 haya causado daños biológicos ni que su capacidad de diseño experimental supere a la de los modelos líderes; Tencent, de hecho, dijo que en ese aspecto el sistema es más débil. El punto planteado es que los desarrolladores deben atender los riesgos potenciales y valorar cómo la disponibilidad de modelos abiertos o cerrados puede afectar tanto a quienes buscan hacer daño como a quienes intentan prevenirlo.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín