Por Canuto  

Un análisis de 50 afirmaciones sobre modelos de lenguaje encontró que el 44% ya no describe adecuadamente a sistemas más recientes. Los autores advierten que las conclusiones deben asociarse con modelos, versiones y fechas concretas.
***

  • El estudio examinó 50 hallazgos frente a 20 modelos y calculó una vida media de 15,7 meses para 22 conclusiones con fecha de caducidad estimada.
  • Las afirmaciones sobre limitaciones de razonamiento mostraron una rápida pérdida de vigencia, aunque las diferencias entre modelos actuales siguen siendo amplias.
  • Los resultados sobre referencias inventadas mejoraron en algunos sistemas, pero un modelo de la muestra todavía fabricó el 69% de las citas probadas.

 

La aceleración de los modelos de lenguaje de gran escala está acortando la vigencia de parte de la investigación sobre sus capacidades y limitaciones. Un estudio de los investigadores de Stanford Owen Queen y James Zou encontró que el 44% de 50 hallazgos muy citados ya había caducado al probarlo con modelos más recientes, mientras que otro 34% perdió fuerza de manera significativa. El estudio revisó hallazgos publicados sobre modelos de lenguaje.

El análisis también expone por qué una conclusión sobre inteligencia artificial no siempre puede tratarse como una regla general: los resultados cambian según el modelo, su versión y el momento en que se realiza la prueba. Queen y Zou proponen que los estudios documenten esos elementos y publiquen sus instrucciones de evaluación y el código empleado, para facilitar futuras comprobaciones.

Hallazgos con una vigencia cada vez más corta

Queen y Zou compararon 50 afirmaciones de investigaciones previas con 20 modelos de lenguaje de ocho desarrolladores. Según la información del estudio, los modelos examinados fueron lanzados entre julio de 2024 y septiembre de 2026, un periodo que permite observar cómo cambian las respuestas ante pruebas que ya se habían aplicado a sistemas anteriores.

De las 50 afirmaciones, el 44% dejó de describir adecuadamente el comportamiento observado y otro 34% se debilitó de forma importante. El 16% se mantuvo válido, mientras que el 6% se fortaleció; en conjunto, los resultados muestran que las mejoras de los modelos no afectan de la misma forma a todos los hallazgos examinados.

Para 22 de las conclusiones, los autores calcularon una fecha estimada de caducidad y encontraron una vida media de 15,7 meses. La proporción de hallazgos vencidos pasó del 16% después de un año al 39% después de dos, una progresión que ilustra el desafío de evaluar tecnologías cuyas capacidades pueden cambiar mientras las investigaciones siguen circulando.

El reporte de The Decoder destaca que la tendencia no significa que toda investigación pierda valor al mismo ritmo. La clasificación depende de si una observación desaparece, se debilita, conserva su vigencia o se vuelve más evidente cuando se prueba en modelos posteriores.

Las limitaciones de razonamiento son las más vulnerables

Las afirmaciones sobre lo que los modelos no pueden hacer se deterioraron con mayor rapidez que otros tipos de resultados. De los nueve hallazgos relacionados con razonamiento, cinco se consideraron caducados y ninguno permaneció igual o se fortaleció, según la evaluación de los investigadores.

Entre los ejemplos examinados aparecen dificultades conocidas, como contar las letras de la palabra inglesa «strawberry» y resolver operaciones aritméticas en sistemas numéricos desconocidos. También se incluyeron la pérdida de información ubicada en la mitad de contextos extensos y la tendencia de un modelo a abandonar una respuesta correcta cuando el usuario insiste en que está equivocada.

Los investigadores plantean que estas debilidades pueden ser más fáciles de corregir porque tienen una respuesta verificable. Cuando una prueba define con claridad cuál es el resultado correcto, los desarrolladores cuentan con un objetivo concreto para entrenar y evaluar los sistemas, lo que podría ayudar a explicar por qué algunos errores específicos desaparecen en modelos posteriores.

En contraste, ciertas tendencias y preferencias resultaron más persistentes. Entre los 11 hallazgos que se mantuvieron o se fortalecieron, tres describían conductas de los modelos como evaluadores: preferir sus propias respuestas, calificar de manera similar artículos aceptados y rechazados, e inclinarse por la forma en que se redacta un resumen médico.

Persisten tendencias, sesgos y diferencias entre modelos

Otros tres hallazgos que se mantuvieron o reforzaron se relacionan con la adulación y la aquiescencia frente a los usuarios. La lista de tendencias persistentes también incluye un sesgo político hacia la izquierda, respuestas casi idénticas ante preguntas abiertas y una distribución no uniforme cuando los modelos generan números aleatorios.

Los resultados sobre sesgos sociales fueron mixtos, de acuerdo con los autores. El sesgo político de izquierda persistió, mientras que los estereotipos de género y los sesgos de asociación implícita se debilitaron; además, los datos sobre tendencias mostraron que el sesgo contra hablantes de inglés afroamericano cambió de dirección.

Las diferencias entre sistemas tampoco desaparecen por pertenecer a una misma generación. Entre modelos lanzados entre julio y septiembre de 2026, el número de hallazgos caducados varió desde 11 para DeepSeek V4 Pro hasta 30 para GPT-6.1 Sol, y el estudio no encontró que la fecha de lanzamiento, el proveedor o el tamaño predijeran de manera fiable ese patrón.

Por esa variabilidad, Queen y Zou recomiendan describir los hallazgos como observaciones sobre un modelo particular en un momento determinado, y no como verdades aplicables a todos los sistemas. También plantean que los artículos indiquen el modelo, la versión y la fecha de cada prueba, además de publicar los prompts y el código de análisis para que otros equipos puedan repetirla.

Las citas inventadas bajan en algunos sistemas, no en todos

Como caso concreto, los investigadores revisaron la fabricación de referencias científicas, un problema que puede hacer que una respuesta parezca documentada aunque las fuentes citadas no existan. En el estudio de Walters y Wilder de 2023, GPT-3.5 inventó el 55% de sus referencias en la prueba original; Queen y Zou aplicaron los mismos avisos a modelos más recientes.

En esa evaluación, GPT-6.1 Sol fabricó el 0% de las referencias y Claude Sonnet 5.5 registró un 1%. Sin embargo, Qwen3.7-Flash, también identificado como un modelo de 2026, inventó el 69% de las citas en la misma prueba, una diferencia que impide asumir que las mejoras de un sistema se extienden automáticamente a los demás.

Los autores también advierten que un resultado favorable en una prueba no equivale a una garantía general de precisión. En preguntas de dos saltos, que exigen combinar dos hechos conocidos, Claude Sonnet 5.5 todavía falla en alrededor del 10% de los casos en los que responde correctamente cada pregunta por separado; el estudio original había reportado un 43% para ChatGPT.

Otros errores se han debilitado sin desaparecer por completo. La llamada «maldición de la reversión» y las respuestas contradictorias a preguntas emparejadas sobre hechos temporales siguen siendo detectables, aunque aparecen con menor intensidad que en las pruebas anteriores citadas por los investigadores.

Una investigación útil, pero ligada a su contexto

El estudio no sostiene que los hallazgos anteriores carezcan de utilidad, sino que su alcance debe interpretarse de acuerdo con el sistema y la fecha en que se observaron. Una investigación puede ofrecer una descripción válida de un modelo y, al mismo tiempo, dejar de representar a una versión posterior que aprendió a resolver la tarea examinada.

La recomendación de publicar prompts, versiones y código apunta a hacer posible una comparación más transparente entre generaciones. Si esos datos acompañan los resultados, otros equipos pueden repetir las pruebas y distinguir entre una limitación que persiste, una que se corrigió y otra que solo aparece en determinados modelos.

Queen y Zou también señalan una publicación de Andrej Karpathy sobre cómo las percepciones equivocadas acerca del comportamiento real de los modelos pueden influir en la confianza de las personas y en la frecuencia con que utilizan la inteligencia artificial. Karpathy, cofundador de OpenAI que posteriormente se unió a Anthropic, ha descrito además los modelos disponibles como un adelanto de capacidades futuras.

La velocidad del cambio deja así una tarea doble para investigadores y usuarios: examinar con cuidado qué demuestra cada prueba y evitar convertir un resultado puntual en una afirmación universal. El análisis sugiere que las conclusiones sobre los LLM necesitan fecha de revisión, porque el objeto de estudio puede cambiar antes de que una explicación científica se vuelva definitiva.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados