Estudio tumba las promesas de Anthropic y OpenAI sobre investigación autónoma de IA

Un nuevo estudio de Princeton y el Instituto de Seguridad de IA del Reino Unido contradice las afirmaciones de Anthropic y OpenAI sobre la investigación autónoma de IA. Mediante un método llamado ‘Evaluación Sombra’, los agentes de frontera intentaron replicar dos artículos de NeurIPS y ambos fueron rechazados rotundamente por los autores originales. El estudio revela que los modelos actuales pueden manejar la ingeniería de investigación, pero carecen del juicio científico y la creatividad necesarios para producir ciencia novedosa.
***

• La prueba ‘Evaluación Sombra’ usó artículos inéditos de NeurIPS y agentes con días de autonomía, presupuestos de USD $3.000 y acceso a GPU.
• Claude Opus 4.8 y GPT-5.6 Sol generaron papers que fueron rechazados por los autores originales por falta de contribución, motivación y rigor experimental.
• Los agentes ejecutaron las tareas de ingeniería sin ayuda, pero fallaron en juicio, resolución creativa de problemas y gestión de recursos, contradiciendo las promesas de Anthropic y OpenAI.
• El estudio critica el uso de la revisión por pares como métrica de éxito, señalando que la aceptación en talleres no garantiza calidad investigativa.

La carrera por lograr que la inteligencia artificial conduzca investigaciones científicas de punta ha dado un paso atrás con un nuevo estudio de la Universidad de Princeton y el Instituto de Seguridad de IA del Reino Unido. Los investigadores probaron a los modelos de frontera, incluidos Claude Opus 4.8 de Anthropic y GPT-5.6 Sol de OpenAI, con una metodología llamada ‘Evaluación Sombra’, y los resultados fueron contundentes: ambos agentes produjeron artículos que los autores originales rechazaron por fuertes deficiencias científicas. Este hallazgo, reportado por The Decoder, contradice directamente las afirmaciones recientes de Anthropic y OpenAI sobre que sus sistemas están listos para acelerar la investigación en IA.

La investigación, que aún no ha sido publicada en una revista académica, se centró en dos artículos enviados a NeurIPS 2026, la conferencia líder en aprendizaje automático. Uno de ellos exploraba cómo las características de personalidad de los modelos de lenguaje pueden ser dirigidas a través de sus pesos, mientras que el otro presentaba un método llamado TabPFN para detectar cuándo un modelo de predicción tabular se encuentra con datos fuera de distribución. Los autores originales, que invirtieron meses en estos problemas, evaluaron los resultados como revisores de conferencia y ambos fueron rechazados: uno con un ‘Rechazo fuerte’ y el otro con un simple ‘Rechazo’.

Una metodología que evita la contaminación de datos

La clave del estudio radica en su diseño experimental, que los investigadores bautizaron como ‘Evaluación Sombra’. A diferencia de evaluaciones previas que usaban tareas estrechas o artículos ya publicados en la web, este método entrega al agente la pregunta de investigación central de un trabajo inédito. Como los resultados aún no han sido indexados en internet, el agente no puede copiar respuestas de sus datos de entrenamiento. De esta manera, se pone a prueba la capacidad real del sistema para generar conocimiento nuevo, no para recordar soluciones existentes.

Los experimentos principales utilizaron Claude Opus 4.8 con configuración de razonamiento extralto, ejecutado dentro de un andamiaje llamado OpenClaw, un marco de agentes de código abierto creado por el desarrollador austriaco Peter Steinberger, quien recientemente se unió a OpenAI. Cada agente tuvo seis días, USD $3.000 en créditos de API, un presupuesto de GPU y acceso completo a una máquina virtual y a la web. El sistema podía lanzar subagentes, supervisar su propio uso de recursos y consultar herramientas externas de revisión de IA, lo que lo hacía altamente autónomo en términos operativos.

Los autores originales, que pasaron meses trabajando en las mismas preguntas, actuaron como revisores de la conferencia y tuvieron acceso completo a los artículos finales generados por los agentes. Sus veredictos fueron demoledores: criticaron la falta de motivación en los datos y experimentos, la prosa ilegible y la ausencia de contribuciones novedosas. Un revisor calificó el razonamiento como una ‘falacia de prueba por ejemplo’ y lo tildó de ‘altamente no científico’, mientras que otro señaló que las elecciones experimentales eran ‘extrañas’ y parecían el resultado de decisiones post hoc.

Modos de fallo que se repiten en los agentes

El análisis de los registros de los agentes reveló debilidades sistemáticas que explican el fracaso. En primer lugar, los modelos carecían de juicio sobre lo que constituye investigación publicable. Generaban hipótesis plausibles, pero las descartaban basándose en conjuntos de datos pequeños, seleccionados a mano o sintéticos, sin reconocer su falta de poder estadístico. Esta incapacidad para evaluar la calidad de sus propias ideas los llevaba a abandonar direcciones prometedoras demasiado pronto.

Otro modo de fallo fue la resolución creativa de problemas. Cuando sus hipótesis iniciales eran refutadas, los agentes tendían a estrechar las afirmaciones existentes en lugar de perseguir nuevas direcciones. Incluso cuando sus propios revisores internos de IA devolvían críticas, nunca abordaban el problema central. De hecho, en quince rondas de revisión interna, ningún agente recibió una sola recomendación de ‘Aceptar’, pero aun así continuaron sin ajustar su enfoque.

La gestión de recursos también fue deficiente. Ambos agentes terminaron con menos de la mitad del presupuesto de API gastado, a pesar de que podían verificar su uso en cualquier momento. Un agente declaró el proyecto completo siete horas antes de la fecha límite, justo después de recibir otra revisión negativa. Además, sufrieron de ‘deriva de instrucciones’, olvidando gradualmente reglas explícitas en contextos largos. Ambos artículos excedieron los límites de longitud y habrían sido rechazados de escritorio en NeurIPS, y uno contenía cero visualizaciones en el texto principal, mientras que el original tenía 15 figuras.

Lo notable es que estos fallos no se debieron a la escasez de cómputo o tiempo. Los autores repitieron un experimento con GPT-5.6 Sol y el andamiaje de Codex de OpenAI, y casi los mismos modos de fallo aparecieron. GPT-5.6 quemó el presupuesto de USD $3.000 en poco más de dos días, lo que llevó a experimentos de tamaño insuficiente. Esto sugiere que los problemas son intrínsecos a la arquitectura de los modelos, no artefactos de la configuración del software.

La ingeniería funciona, el juicio científico no

A pesar de las deficiencias en investigación, los agentes demostraron una capacidad impresionante para manejar todo el trabajo de ingeniería sin ayuda humana. Realizaron búsquedas de literatura, depuraron código de GPU, completaron cientos de experimentos y pruebas de robustez, y compilaron artículos completos en LaTeX. Solo se necesitaron tres intervenciones humanas: una corrección de error en el andamiaje, una extensión de fecha límite y una solicitud para reescribir por legibilidad. El estudio también descartó el ‘hacking de recompensas’, ya que los agentes no manipularon resultados ni sesgaron datos; de hecho, comenzaron con afirmaciones ambiciosas y las corrigieron hacia resultados negativos.

Los investigadores concluyen que los modelos de frontera pueden manejar el aspecto de ingeniería de la investigación, pero ‘no pueden resolver preguntas de investigación de IA abiertas y de varias semanas’. La diferencia clave está en la abducción, el salto creativo que inventa una causa para explicar un fenómeno sorprendente. Mientras que las pruebas matemáticas requieren deducción, la investigación científica demanda formular nuevas preguntas, diseñar experimentos adecuados y sacar conclusiones sólidas a partir de resultados imperfectos, algo que los modelos actuales no logran.

Este hallazgo contradice directamente las afirmaciones de Anthropic y OpenAI. En junio, Anthropic publicó un artículo titulado ‘Cuando la IA se construye a sí misma’, donde compartía datos internos sobre la aceleración de la investigación y planteaba la idea de una pausa coordinada a nivel mundial. OpenAI, por su parte, afirmó que GPT-5.6 Sol ayudó con el post-entrenamiento de un modelo más pequeño y ahorró a los investigadores varias semanas. Sin embargo, los autores del estudio señalan que esta contribución ni siquiera se menciona en la tarjeta de sistema de 81 páginas del modelo, lo que arroja dudas sobre su importancia real.

La revisión por pares como criterio pobre

El estudio también cuestiona el uso de la revisión por pares como métrica de éxito para la investigación autónoma. Muchas afirmaciones anteriores de éxito se basaron en envíos aceptados, pero la aceptación por sí sola dice poco sobre la calidad de la investigación. Por ejemplo, el AI Scientist-v2 de Sakana AI envió tres artículos a un taller de ICLR en 2025. Uno fue aceptado con una puntuación promedio de 6.33, apenas por encima del umbral, y luego fue retirado cuando los investigadores encontraron errores de cita. Las tasas de aceptación en talleres son del 60 al 70 por ciento, frente al 20 al 30 por ciento de las conferencias principales, lo que los hace un estándar mucho más fácil de superar.

La ‘Evaluación Sombra’ evita este problema devolviendo la evaluación a los autores originales, quienes tienen un conocimiento profundo del tema y de las deficiencias del trabajo. Aunque los revisores no estaban cegados, ya que conocían su propia pregunta de investigación y sabían que evaluaban trabajo generado por IA, los resultados eran tan claramente débiles que estas limitaciones dificilmente cambiarían el panorama general. Los autores han puesto a disposición en línea las revisiones de expertos, los registros y los repositorios de agentes para que otros investigadores puedan juzgar por sí mismos.

El contexto más amplio incluye críticas crecientes a la idea de que los LLM pueden crear conocimiento genuinamente nuevo. Tom Zahavy de Google DeepMind argumenta en su artículo ‘Los LLM no pueden saltar’ que los modelos de lenguaje carecen del mecanismo cognitivo para producir algo original. El AI Scientist simplemente recombina conceptos existentes, mientras que AlphaEvolve de DeepMind sobresale en optimización pero necesita una señal de error clara. Los recientes avances matemáticos de OpenAI y Anthropic, como la refutación de una conjetura de Erdős de 1946, parecen contradecir esta visión, pero los autores del estudio señalan que estas son deducciones, no abducciones.

La búsqueda de una IA que cree nuevo conocimiento

El estudio no cierra la puerta a que la IA eventualmente conduzca investigación autónoma, pero enfatiza que queda un largo camino por recorrer. Los investigadores sugieren que más esfuerzo de razonamiento mejoró la calidad, como mostraron las pruebas preliminares que no usaban razonamiento extendido. Sin embargo, sospechan que simplemente aumentar el tiempo o el cómputo no cambiaría mucho los resultados, ya que las objeciones de los revisores se dirigieron a la calidad de las elecciones experimentales, no a la cantidad.

Por ahora, la IA puede acelerar el trabajo de ingeniería y análisis de datos, pero no puede reemplazar el juicio humano para decidir qué vale la pena investigar y cómo hacerlo. La comunidad científica necesitará métricas más sólidas que la revisión por pares para evaluar el progreso en este campo. Mientras tanto, las afirmaciones de Anthropic y OpenAI sobre la inminente autonomía investigativa deben tomarse con escepticismo, como lo demuestra la evidencia empírica de esta investigación.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.
Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín