Por Canuto  

METR alerta que los modelos de IA mejoran con rapidez en tareas computacionales, mientras las pruebas disponibles podrían no reflejar de forma fiable su desempeño ni descartar una aceleración de la investigación.
***

  • La duración de las tareas que los modelos pueden resolver se duplica cada 3,6 meses, según el análisis de METR.
  • Una extrapolación simple proyecta una tasa de éxito del 50% en tareas de 200 horas para julio de 2027, pero no constituye una predicción segura.
  • La organización advierte que los benchmarks pueden ofrecer una imagen incompleta del desempeño y que los sistemas aún tropiezan con problemas abiertos que exigen juicio.


El rápido avance de los modelos de inteligencia artificial está estrechando el margen para medir sus capacidades y evaluar sus riesgos con pruebas fiables.

La IA acelera y las pruebas de seguridad quedan rezagadas, advierte METR

Los sistemas de inteligencia artificial mejoran en tareas de programación y computación, mientras crece el desafío de evaluar sus capacidades y riesgos con pruebas fiables, advierte la organización de investigación METR. Su análisis plantea que los datos públicos actuales no bastan para descartar una aceleración drástica de la investigación en IA durante los próximos años, una incertidumbre que podría dificultar la respuesta humana ante riesgos catastróficos.

Capacidades que avanzan y límites de la medición

El análisis de METR se concentra en tareas computacionales claramente definidas, como ejercicios de programación, donde los modelos reciben retroalimentación directa sobre sus resultados. En ese tipo de actividades, los sistemas ya superan a profesionales humanos experimentados en la mayoría de las ocasiones, aunque la organización aclara que todavía no han superado a grandes grupos de expertos de primer nivel. La distinción importa: un resultado favorable frente a profesionales individuales no equivale a demostrar que la IA ya aventaja de forma general a los mejores equipos humanos.

METR también observa que, cuanto más tiempo necesita una persona para completar una tarea, más se amplía el horizonte de trabajo que los modelos pueden manejar. De acuerdo con sus datos, la duración de las tareas que los sistemas pueden realizar se duplica cada 3,6 meses, un ritmo que apunta a un crecimiento sostenido en ese indicador. La cifra describe una tendencia en las pruebas estudiadas, no una medida universal de inteligencia ni una garantía de que cualquier actividad compleja pueda automatizarse a la misma velocidad.

La organización ilustra la tendencia con una extrapolación sencilla: si la progresión observada continúa, los modelos alcanzarían una tasa de éxito del 50% en las tareas más largas de la evaluación, que toman unas 200 horas a una persona, para julio de 2027. Ese cálculo depende de proyectar hacia adelante el ritmo registrado y, por tanto, no confirma que los sistemas vayan a cumplir efectivamente ese resultado en esa fecha. La estimación sirve para mostrar por qué el ritmo de mejora preocupa a los investigadores, pero debe leerse como una proyección condicional.

En una evaluación separada de Anthropic, METR examinó entre el 12 de agosto y el 29 de octubre de 2026 en qué medida la IA acelera la investigación y el desarrollo de IA. La organización informó que los benchmarks internos de la empresa presentan niveles de saturación cada vez mayores y que Model 4 supera el 50% en todos los benchmarks evaluados. Estos resultados corresponden a esa evaluación y no confirman por sí solos la extrapolación sobre tareas de 200 horas. El informe está disponible en la evaluación independiente de METR sobre la aceleración de la I+D en IA en Anthropic.

La dificultad de evaluación no se limita a medir cuánto código puede producir un modelo o cuánto tiempo sostiene una tarea bien delimitada. METR advierte que los datos públicos disponibles no permiten descartar una aceleración drástica de la investigación en IA en los próximos años, de modo que existe una incertidumbre importante sobre la velocidad futura del cambio. La organización no presenta esa aceleración como un hecho consumado, sino como una posibilidad que la evidencia actual no alcanza a excluir.

Las pruebas no siempre representan el uso real

Una parte del problema, según METR, es que las evaluaciones habituales pueden dar una impresión demasiado favorable del rendimiento. Si los desarrolladores entrenan modelos en entornos muy parecidos a los que luego aparecen en las pruebas, los sistemas pueden rendir bien en esos ejercicios sin que el resultado reproduzca con fidelidad su desempeño en otros contextos. Por eso, aprobar un benchmark no basta para concluir que un modelo actuará de la misma manera cuando cambien las condiciones o falte una respuesta inmediata que indique si va por buen camino.

La organización señala que los modelos siguen teniendo dificultades con preguntas abiertas, en las que no existe una retroalimentación inmediata y hace falta ejercer juicio. Estas tareas son distintas de un problema de programación con una respuesta verificable, porque la evaluación puede depender de cómo se ponderan varias opciones y de si el sistema interpreta adecuadamente un contexto que no ofrece una solución única. Esa limitación hace que los resultados de tareas computacionales definidas no deban extenderse automáticamente a todas las capacidades de los sistemas.

También hay situaciones difíciles de recrear durante el entrenamiento, una dificultad que puede reducir la utilidad de las pruebas diseñadas en condiciones controladas. Si el escenario evaluado no refleja bien las circunstancias que un modelo encontrará fuera del entorno de prueba, el resultado dice menos sobre cómo responderá ante ellas. METR no plantea que toda evaluación sea inútil, sino que las pruebas pueden dejar puntos ciegos y, en algunos casos, sobreestimar lo que un sistema puede hacer en el uso real.

La preocupación de la organización conecta la velocidad de avance con la capacidad de los equipos humanos para comprender, evaluar y reaccionar ante los riesgos. Si los sistemas ganan capacidad para realizar tareas de investigación en IA mientras los métodos de evaluación quedan rezagados, los responsables podrían tener menos información confiable para valorar los cambios antes de que aparezcan nuevos sistemas. METR advierte que ese desfase podría dificultar una respuesta significativa ante riesgos catastróficos, sin afirmar que esos riesgos sean inevitables ni que ya se hayan materializado.

El análisis, por tanto, no sostiene que los modelos hayan resuelto cualquier tarea ni que las proyecciones de 2027 sean certezas. Su advertencia es más acotada: las capacidades medidas en tareas definidas crecen con rapidez, los resultados de pruebas pueden no representar el uso cotidiano y los datos disponibles no descartan una aceleración mayor de la investigación. Para interpretar futuras evaluaciones, la diferencia entre una tendencia observada, una extrapolación y una conclusión sobre seguridad seguirá siendo esencial.

La discusión que abre METR pone el foco tanto en el desempeño de los modelos como en la capacidad de las pruebas para seguirles el paso. Mientras persistan dificultades con tareas abiertas y escenarios difíciles de reproducir, los resultados de benchmarks ofrecerán información parcial, no una garantía general de seguridad. La advertencia de la organización apunta a mantener esa incertidumbre visible cuando se juzga qué pueden hacer los sistemas y qué tan preparados están los expertos para evaluar sus posibles consecuencias.


Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín