Por Canuto  

Investigadores de Anthropic y OpenAI elevaron la alarma sobre la auto-mejora recursiva, un proceso que podría permitir a los sistemas de IA acelerar la creación de modelos cada vez más capaces y reducir el control humano sobre su desarrollo.
***

  • Anthropic ha señalado que Claude está acelerando el desarrollo de nuevos sistemas de IA, mientras investigadores de OpenAI también advierten sobre las consecuencias de un avance rápido.
  • Evan Hubinger, investigador de Anthropic, estimó en más de 10% la probabilidad de que la IA mate a todos los humanos durante la próxima década.
  • Expertos advierten que todavía no existe un plan científico viable para resolver los riesgos de una inteligencia artificial que se auto-mejore de forma recursiva.

La seguridad de la inteligencia artificial volvió a ocupar el centro del debate después de que investigadores de Anthropic y OpenAI expresaran preocupación por la posibilidad de que los sistemas comiencen a mejorar de manera autónoma el proceso con el que se construyen nuevos modelos. El escenario, conocido como auto-mejora recursiva, plantea que una IA más capaz podría ayudar a desarrollar otra todavía más potente y desencadenar una aceleración difícil de supervisar. Anthropic ha señalado que sus herramientas ya están impulsando el desarrollo de IA, mientras investigadores de OpenAI han advertido sobre las consecuencias de un avance rápido.

La alarma alcanzó una intensidad inusual después de que Evan Hubinger, líder de alineamiento en Anthropic, calculara una probabilidad superior al 10% de que la IA pueda matar a todos los humanos durante la próxima década. El investigador hizo esa advertencia tras la renuncia de un colega motivada por temores de seguridad y posteriormente explicó que su preocupación principal era el surgimiento de una superinteligencia mediante la auto-mejora recursiva. Sus declaraciones provocaron una fuerte reacción pública y fueron seguidas por advertencias de otros investigadores de ambos laboratorios.

El alineamiento es el campo que busca garantizar que los objetivos y comportamientos de un sistema de IA permanezcan compatibles con los intereses humanos. El temor de los especialistas es que, si las máquinas pasan a controlar una parte sustancial del entrenamiento y diseño de sus sucesoras, los equipos que las crearon podrían perder la capacidad de corregirlas, detenerlas o imponerles restricciones efectivas. La preocupación combina un problema técnico todavía abierto con una velocidad de avance que dificulta anticipar el momento en que aparecerían capacidades radicalmente nuevas.

La información fue reportada por CNBC, que recogió las declaraciones de investigadores, publicaciones de los laboratorios y análisis de expertos en computación. Aunque la IA aún no habría alcanzado una auto-mejora recursiva completa, el aumento de su participación en tareas de investigación y programación está obligando a las compañías a discutir escenarios que antes parecían lejanos. El debate también expone una tensión central de la industria: acelerar el progreso puede generar ventajas económicas y científicas, pero al mismo tiempo ampliar riesgos que todavía no cuentan con controles comprobados.

Una carrera hacia la auto-mejora

La auto-mejora recursiva, conocida por sus siglas en inglés RSI, describe un ciclo en el que un sistema de IA contribuye a mejorar los métodos, códigos o modelos utilizados para crear sistemas posteriores. Si cada generación puede diseñar herramientas más eficientes para desarrollar la siguiente, la capacidad de los modelos podría crecer en una espiral acumulativa. El punto más delicado no es que una IA escriba código, sino que llegue a influir decisivamente en las decisiones que determinan sus propios sucesores.

Anthropic afirmó en junio que sus datos internos mostraban que Claude estaba acelerando el desarrollo de la IA y que ese proceso podía representar una ruta hacia la auto-mejora recursiva. La compañía señaló que el fenómeno estaba ocurriendo más rápido de lo previsto y que sus implicaciones merecían una atención mayor. La advertencia no afirmó que Claude ya estuviera construyendo de forma autónoma un sucesor más capaz, sino que describió una trayectoria que podría conducir hacia ese resultado.

En una entrada de blog publicada en agosto, Anthropic indicó que sus ingenieros producían, en promedio, ocho veces más líneas de código por ingeniero y día durante el segundo trimestre de 2026. La compañía advirtió que esa cifra probablemente sobreestima la mejora real de productividad, pero la presentó como una señal de que las herramientas de IA ya están acelerando el trabajo de desarrollo. El dato no demuestra por sí mismo que exista una RSI completa. Para los investigadores, sin embargo, la rapidez con que aumentan estas contribuciones vuelve más difícil determinar cuándo el proceso podría pasar de una ayuda significativa a una autonomía decisiva.

Vincent Conitzer, profesor de ciencias de la computación en la Universidad Carnegie Mellon, sostuvo que la IA ya tiene capacidad para introducir algunas ideas nuevas. A su juicio, esa evolución complica cualquier pronóstico sobre el momento en que el proceso comenzaría a acelerar drásticamente las capacidades de los sistemas. La incertidumbre es especialmente relevante porque un avance gradual puede parecer manejable durante años y, después, combinarse con mejores herramientas de programación, investigación y evaluación para producir saltos más rápidos.

Advertencias dentro de los laboratorios

Las preocupaciones no proceden únicamente de observadores externos o críticos de la industria. Jakub Pachocki, científico jefe de OpenAI, advirtió que nadie estaba preparado para las consecuencias de un incremento continuo y rápido de la inteligencia de las máquinas. En una publicación de la compañía, sostuvo que los sistemas que aparezcan durante los próximos años podrían incorporar saltos de capacidad de magnitud igual o superior a los anteriores y contribuir cada vez más a su propio desarrollo.

La advertencia de Pachocki refleja una preocupación distinta de la simple competencia entre empresas por lanzar modelos más potentes. Si los avances futuros permiten que los sistemas participen en investigación, entrenamiento, programación y evaluación, la frontera entre herramienta y agente de desarrollo podría volverse menos clara. En ese contexto, los laboratorios tendrían que controlar no solo el comportamiento del modelo terminado, sino también la cadena de decisiones con la que se construyen sus reemplazos.

La renuncia de Jacob Coxon intensificó la discusión entre los investigadores dedicados a seguridad y alineamiento. Después de ese episodio, Jasmine Wang, investigadora de alineamiento de OpenAI, afirmó que era difícil exagerar el peligro de acelerar hacia la auto-mejora recursiva. Anna Wang, investigadora de seguridad y alineamiento de inteligencia artificial general en Anthropic, añadió que todavía no existe un plan científico viable para resolver los riesgos de una IA capaz de mejorar recursivamente.

Las declaraciones muestran que el desacuerdo no se centra solo en la probabilidad exacta de una catástrofe, sino en la preparación disponible para enfrentarla. Un grupo puede considerar improbable el peor escenario y, aun así, juzgar que sus consecuencias serían tan graves como para justificar límites, evaluaciones más estrictas y mayor transparencia. El desafío consiste en diseñar esas medidas sin asumir que los métodos actuales de alineamiento seguirán funcionando cuando los sistemas superen ampliamente las capacidades de sus supervisores humanos.

Tres escenarios para el futuro

Anthropic planteó tres posibilidades para el futuro de la IA y la auto-mejora recursiva. En la primera, el progreso de los modelos más avanzados se estanca y las capacidades alcanzadas se distribuyen ampliamente entre distintos actores, aunque la compañía dijo que no considera probable ese desenlace. Ese escenario reduciría la velocidad de la carrera tecnológica, pero también podría dificultar la coordinación si múltiples organizaciones obtienen herramientas poderosas sin un marco común de seguridad.

El segundo escenario contempla que los laboratorios continúen logrando avances importantes mientras los humanos mantienen el control sobre la dirección del desarrollo. Anthropic calificó esta posibilidad como probable y señaló que transformaría la manera en que funciona el mundo. Bajo esa hipótesis, la IA seguiría modificando la investigación, la programación y la economía, pero las decisiones esenciales sobre objetivos, límites y despliegue permanecerían en manos humanas.

El tercer escenario es el más inquietante: los sistemas llegarían a ser capaces de una auto-mejora recursiva completa y los seres humanos desempeñarían un papel sustancialmente menor en su desarrollo. Anthropic reconoció que existe mucha menos certeza sobre cómo se resolvería el problema de alineamiento en ese futuro. La dificultad no consiste únicamente en ordenar a la máquina que sea útil, sino en garantizar que preserve objetivos compatibles con los humanos cuando pueda rediseñar las herramientas, procedimientos y modelos que determinan su conducta.

La posibilidad de perder control no implica que la extinción humana sea un resultado inevitable, pero sí plantea una exigencia de prudencia proporcional al impacto potencial. Las advertencias de Hubinger, Pachocki, Jasmine Wang y Anna Wang apuntan a una misma brecha: la capacidad técnica avanza con rapidez, mientras las soluciones para gobernar sistemas cada vez más autónomos todavía no alcanzan un nivel equivalente. Para el público, la discusión será menos abstracta a medida que la IA participe en más etapas de la investigación que produce sus futuras versiones.

El problema de controlar a los creadores

La inquietud central puede resumirse en una pregunta sencilla: ¿cómo supervisarán los humanos un sistema que entiende mejor que ellos los procesos utilizados para construir la siguiente generación de inteligencia artificial? Mientras los modelos funcionen como asistentes limitados, los equipos pueden revisar sus resultados y corregir errores con relativa facilidad. Pero si una IA propone arquitecturas, optimiza entrenamientos y encuentra estrategias que sus operadores no comprenden por completo, la supervisión humana podría convertirse en una formalidad.

La programación es uno de los primeros campos donde esta transformación ya se hace visible. El aumento de código producido por los ingenieros de Anthropic muestra que los modelos pueden multiplicar la productividad de los equipos, aunque la cifra no permite concluir que las máquinas controlen el desarrollo. El riesgo aparece cuando la velocidad adicional reduce el tiempo disponible para probar los resultados, investigar fallos y comprobar que cada mejora preserve los objetivos de seguridad.

Para los mercados tecnológicos, una carrera más veloz hacia modelos avanzados podría sostener inversiones enormes en infraestructura, chips y centros de datos. Sin embargo, cualquier incidente grave de seguridad, una reacción regulatoria o una pérdida de confianza pública también podría alterar las valoraciones y los planes de expansión de las compañías. La misma expectativa de crecimiento que impulsa el capital hacia la IA puede amplificar la presión interna por lanzar sistemas antes de que existan garantías suficientes.

Por ahora, los laboratorios no han demostrado que una IA pueda iniciar por sí sola una cadena completa de auto-mejoras recursivas. Lo que sí reconocen sus investigadores es que las herramientas actuales ya aceleran partes relevantes del trabajo y que los próximos saltos podrían llegar con una magnitud difícil de anticipar. Esa combinación de progreso observable e incertidumbre extrema explica por qué la discusión dejó de ser una advertencia marginal y se convirtió en una cuestión de seguridad global.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados