Por Canuto  

Anthropic ha sorprendido al sector con un llamado a crear un mecanismo global que permita detener temporalmente el desarrollo de IA peligrosa. La propuesta llega en un momento en que la propia empresa ha relajado sus compromisos de seguridad y se prepara para salir a bolsa, evidenciando la tensión entre competencia, innovación y riesgo existencial.

***

  • Anthropic propone un protocolo de pausa colectiva entre gobiernos y desarrolladores de IA para mitigar riesgos catastróficos.
  • La compañía admite que el incentivo para hacer trampa es enorme, ya que quien continúe mientras otros se detienen podría heredar una ventaja decisiva.
  • El llamado revive el debate de 2023, cuando cientos de expertos y Elon Musk pidieron una moratoria de al menos seis meses en el desarrollo de IA avanzada.

 

Anthropic lanzó un polémico llamado a la industria y a los gobiernos del mundo: es hora de construir un “botón de pausa” para la inteligencia artificial (IA).

La empresa, conocida por su asistente Claude y su rivalidad con OpenAI, publicó una extensa reflexión en su blog en la que plantea que la humanidad debería tener la opción de frenar colectivamente el trabajo en IA cuando los riesgos superen los beneficios.

La publicación, firmada por el cofundador Jack Clark y Marina Favaro, líder del Anthropic Institute, argumenta que los avances de la tecnología están llegando a un punto en el que podrían reemplazar o multiplicar por miles la eficiencia del trabajo humano, lo que abre la puerta a peligros difíciles de prever. “Sería bueno para el mundo tener la opción de mostrar o pausar temporalmente” los desarrollos más peligrosos, señaló la compañía, según recogió Bloomberg.

El llamado tiene lugar mientras Anthropic se prepara para una oferta pública inicial y acelera el lanzamiento de modelos cada vez más potentes. Hace apenas unos meses la firma relajó su propia política de autocontrol, lo que añade un matiz de contradicción a su propuesta. De hecho, en 2023 la startup se había comprometido a detener cualquier trabajo que pudiese resultar peligroso, pero a principios de este año dio marcha atrás alegando que el entorno político ahora prioriza la competitividad de la IA y el crecimiento económico por encima de la seguridad.

El antecedente de una pausa que nunca llegó

No es la primera vez que voces autorizadas piden un alto en el vertiginoso ritmo de la inteligencia artificial. En 2023, el Instituto Futuro de la Vida, una organización sin ánimo de lucro, solicitó una pausa de al menos seis meses para imponer límites a la IA, advirtiendo sobre potenciales efectos catastróficos. Aquella carta fue rubricada por más de 1.000 investigadores y ejecutivos, entre ellos el magnate Elon Musk.

Los críticos de aquella iniciativa sostuvieron que detener el desarrollo afectaría la innovación y daría una ventaja injusta a quienes ignorasen el llamado. Es precisamente el mismo desafío que Anthropic reconoce en su publicación más reciente.

“Las ejecuciones de entrenamiento son mucho más fáciles de ocultar que los silos de misiles, sus insumos son de propósito general y el incentivo para desertar silenciosamente es enorme, porque quien continúe mientras otros pausan podría heredar la ventaja“.

La start-up ilustra la encrucijada con una analogía atómica: necesitamos un régimen similar al control internacional de armas nucleares, pero aplicado a intangibles y algoritmos. Sin embargo, a diferencia de los arsenales físicos, entrenar un modelo de lenguaje masivo deja pocas huellas y se puede enmascarar tras actividades académicas o comerciales legítimas, lo que hace casi imposible vigilar su cumplimiento.

El debate se enmarca en un escenario donde la IA pronto podría ser capaz de mejorarse a sí misma y diseñar sucesores sin intervención humana. Clark y Favaro describen ese punto como una “colisión” entre la inteligencia recursiva y el mundo de las relaciones y la gobernanza, cuyas consecuencias nadie puede predecir. Precisamente ese umbral es el que, según ellos, justifica la urgencia de diseñar un protocolo internacional de pausa antes de que sea demasiado tarde.

Anthropic y su difícil equilibrio entre seguridad y negocio

Mientras pide un freno global, Anthropic sigue lanzando productos cada vez más avanzados. Su popular asistente Claude acumula millones de usuarios y la empresa acaba de presentar el modelo Mythos, capaz de detectar y explotar vulnerabilidades de ciberseguridad a una velocidad notable. Además, la compañía se alista para debutar en los mercados bursátiles, lo que la someterá a presiones financieras típicas de cualquier empresa pública.

La aparente dualidad —pedir un botón de pausa mientras se acelera al máximo— ha generado escepticismo entre analistas y competidores. Algunos lo interpretan como un intento de ganar tiempo o de moldear una regulación que favorezca a quienes ya tienen una posición dominante. Sin embargo, Anthropic insiste en que su propuesta incluye la participación de múltiples actores y mecanismos de control como verificaciones entre laboratorios pares, para evitar que actores sin escrúpulos trabajen en secreto durante cualquier moratoria.

La firma anunció este jueves que en los próximos meses se reunirá con legisladores y otras empresas de IA para discutir una mejor coordinación y compartir los resultados de esas conversaciones. El objetivo, según el blog, es que cualquier pausa responda a criterios objetivos de peligrosidad verificada y no a intereses comerciales o geopolíticos de corto plazo.

¿Es factible un acuerdo global?

La historia de los tratados de control de armamento demuestra que lograr consensos universales es lento y frágil incluso cuando el peligro es evidente. En el caso de la IA, la competencia entre Estados Unidos, China y otros bloques añade una capa de complejidad geopolítica casi insalvable. Clark y Favaro admiten que la idea puede sonar ingenua, pero insisten en que no diseñar ningún sistema de pausa es aún más peligroso.

La comunidad científica y regulatoria observa con atención. De concretarse una pausa temporal coordinada, se sentaría un precedente histórico sobre cómo la humanidad decide relacionarse con tecnologías que amenazan con superarla. Por ahora, mientras los robots de código aprenden a escribir, programar y explotar agujeros de seguridad, las conversaciones políticas siguen girando sobre si realmente existe un botón que alguien esté dispuesto a presionar.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público

Este artículo fue escrito por un redactor de contenido de IA

 


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados