Por Canuto  

Artificial Analysis actualizó su índice de inteligencia con nuevas pruebas de programación y ciencia, además de cambios para reducir la exposición de las preguntas. Claude Opus 5.5 ocupa el primer lugar, mientras que la brecha frente a los modelos de pesos abiertos aumenta y el costo por tarea varía ampliamente.
***

  • Claude Opus 5.5 lidera el Artificial Analysis Intelligence Index v5 con 58 puntos, apenas por encima de GPT-6 Astra y GPT-6.1 Sol.
  • El 60% del índice utiliza evaluaciones privadas o respuestas reservadas; la actualización agrega pruebas de programación y ciencia.
  • La distancia entre el líder y el mejor modelo de pesos abiertos sube a 12 puntos, y el costo por tarea de los modelos destacados difiere más de 13 veces.

Artificial Analysis amplía la brecha entre los modelos líderes y los de pesos abiertos

Artificial Analysis presentó la versión 5 de su Intelligence Index, una clasificación que combina evaluaciones de capacidades para comparar modelos de inteligencia artificial en tareas que reflejan usos actuales. Según la organización, la actualización incorpora dos nuevos benchmarks y tres mejoras, y por primera vez el 60% del índice se apoya en pruebas privadas o respuestas reservadas. Claude Opus 5.5 encabeza los resultados con 58 puntos, seguido de GPT-6 Astra con 57 y GPT-6.1 Sol con 55.

El cambio no solo reorganiza los puestos, sino también qué capacidades mide la clasificación y cómo intenta proteger sus evaluaciones frente a la contaminación de datos. Artificial Analysis considera que las tareas requieren más trabajo de los modelos que en la versión anterior: la mediana de tokens de salida por tarea aumentó dos tercios, de 35.000 a 59.000. Junto al índice principal, la firma también lanzó una escala de progreso para observar la evolución de las capacidades en el tiempo.

Un índice renovado y más pruebas reservadas

La versión v5 constituye la mayor actualización del Intelligence Index desde el lanzamiento de v4 en enero, de acuerdo con Artificial Analysis. El índice distribuye sus ponderaciones en cuatro áreas iguales: trabajo de conocimiento, programación, ciencia y capacidades generales, cada una con un peso del 25%. La nueva composición intenta representar tareas diferentes, desde completar encargos laborales hasta ejecutar flujos de investigación científica o responder preguntas complejas.

El trabajo de conocimiento reúne AA-Briefcase, con un peso del 15%, y AutomationBench-AA y GDP.pdf, con 5% cada uno. En programación, FrontierCode 2.0 representa 15% y Terminal-Bench 4.0, 10%; ciencia combina Terminal-Bench-Science, con 15%, y un subconjunto difícil de CritPt v2, con 10%. El bloque general asigna 15% a AA-Omniscience v1.1 y 10% a HLE-Diamond.

Dentro de AA-Omniscience, la ponderación se divide en 10% para precisión y 5% para la capacidad de no alucinar, es decir, evitar respuestas inventadas. El índice conserva AA-Briefcase, AutomationBench-AA, GDP.pdf y Terminal-Bench 4.0, pero retira GDPval-AA v2.1, SciCode y AA-LCR v1.1. También sustituye Humanity’s Last Exam por HLE-Diamond y actualiza tanto AA-Omniscience como CritPt.

La novedad más destacada en programación es FrontierCode 2.0, un benchmark privado de Cognition compuesto por 132 tareas en repositorios reales de código abierto. La evaluación considera si un mantenedor del repositorio aceptaría el cambio propuesto por un agente, y cualquier intento que falle una verificación bloqueante recibe cero. Artificial Analysis ejecutó cada tarea tres veces con Stirrup, su sistema de evaluación agéntica, mientras las tareas permanecen privadas para reducir el riesgo de que los modelos ya conozcan las respuestas.

Resultados: liderazgo repartido entre varias pruebas

Claude Opus 5.5 obtuvo 46% en FrontierCode 2.0 y quedó al frente de esa prueba; GPT-6 Astra, GPT-6.1 Terra y Claude Sonnet 5.5 registraron 42% cada uno. Entre los modelos de pesos abiertos, DeepSeek V4.1 Flash 1017 alcanzó 28%, una diferencia de 18 puntos porcentuales frente al primer lugar. La prueba, al valorar cambios aceptables en proyectos reales y no solo respuestas a ejercicios, busca aproximarse a tareas habituales de desarrollo.

Terminal-Bench-Science evalúa si un agente puede completar flujos de investigación científica en un entorno de terminal, y contempla 70 tareas revisadas por expertos. Una tarea solo se considera aprobada cuando pasan todas sus verificaciones, un criterio que ayuda a explicar por qué las puntuaciones caen con rapidez después de los primeros puestos. GPT-6 Astra lideró con 62,86%, y GPT-6.1 Sol ocupó el segundo lugar. Claude Opus 5.5 obtuvo 59%.

En esa prueba científica, Kimi K3.1 Pro obtuvo 34% y fue el mejor modelo de pesos abiertos, aunque Artificial Analysis indica que sus pesos todavía no se han publicado. Claude Haiku 5.5 alcanzó 20%, mientras que DeepSeek V4.1 Flash 1017, el mejor modelo evaluado con pesos publicados, registró 13%. La mayoría de los modelos de pesos abiertos examinados quedó por debajo del 10%, lo que muestra una diferencia considerable en esta evaluación concreta.

HLE-Diamond reemplaza a Humanity’s Last Exam con una versión refinada de 1.000 preguntas desarrollada a partir de ese examen por el Center for AI Safety y Scale AI. La prueba divide por igual las preguntas de razonamiento y las de conocimiento, y Claude Opus 5.5 lidera con 68%, por delante de GPT-6 Astra con 64% y Claude Fable 5.1 con 60%. En razonamiento, Opus 5.5 y GPT-6 Astra lograron 78% cada uno; en conocimiento, sus resultados bajaron a 58% y 50%, respectivamente.

Conocimiento, ciencia y desempeño de los modelos abiertos

AA-Omniscience v1.1 depura la evaluación de conocimiento y alucinaciones al eliminar preguntas saturadas y elementos del conjunto público, agregar preguntas nuevas y revisar aquellas ambiguas o incorrectas. Artificial Analysis reportó que los resultados se mantienen mayormente alineados con la versión anterior, aunque los modelos obtuvieron en promedio dos puntos menos en el índice v1.1 y la mediana de la variación fue de 0,6 puntos. La firma también publicó un subconjunto público recalibrado para que precisión, tasa de alucinación y rendimiento general sean consistentes con el conjunto privado.

Para CritPt v2, el índice utiliza un subconjunto privado difícil de 40 preguntas de física de nivel de investigación. Parte de las 70 preguntas originales: excluye las 30 que siete modelos de frontera habían resuelto en los cinco intentos disponibles durante el lanzamiento. Los modelos trabajan en un entorno Python sin conexión mediante Stirrup, y GPT-6 Astra consiguió 72% con esfuerzo alto, mientras GPT-6.1 Sol obtuvo 69% con esfuerzo máximo.

Claude Opus 5.5, pese a liderar el índice general, consiguió 61% en ese subconjunto de CritPt; Kimi K3.1 Pro fue el mejor modelo de pesos abiertos con 45%. La diferencia entre una clasificación agregada y una prueba individual importa porque ningún sistema encabeza todas las evaluaciones. Claude Opus 5.5 lideró tres pruebas, mientras otros cinco modelos se repartieron las seis restantes.

Además de las tres pruebas encabezadas por Opus 5.5, GPT-6 Astra lideró Terminal-Bench-Science y CritPt v2, y Claude Sonnet 5.5 obtuvo el primer puesto en AA-Briefcase con 1.812 puntos Elo. Kimi K3.1 Pro lideró Terminal-Bench 4.0 con 67%, Gemini 4 Argon encabezó AutomationBench-AA con 78% y Muse Wonder Full tuvo el mejor resultado en GDP.pdf, con 33% de aprobación total. El reparto evidencia que los resultados dependen de la tarea, no de una superioridad uniforme en todas las capacidades.

Brecha, costos y cambios en el esfuerzo

En la clasificación general, Anthropic y OpenAI ocupan los cinco primeros lugares, y Gemini 4 Argon aparece a continuación con 50 puntos. Kimi K3.1 Pro alcanza 46 y figura como el mejor modelo de pesos abiertos, aunque sus pesos aún no están disponibles; la distancia frente al líder llega así a 12 puntos, frente a tres en v4.3. Entre los modelos cuyos pesos sí se han publicado, DeepSeek V4.1 Flash 1017 y GLM-5.3 comparten la mejor puntuación, con 32.

La comparación también muestra que Claude Haiku 5.5, con 36 puntos, supera a esos dos modelos con pesos publicados. La mayor distancia frente a Kimi K3.1 Pro aparece en HLE-Diamond y Terminal-Bench-Science: allí obtuvo 37% y 34%, frente a 68% para Claude Opus 5.5 y 63% para GPT-6 Astra, respectivamente. Estas cifras describen los resultados de las pruebas del índice y no permiten, por sí solas, concluir que un modelo sea mejor para cualquier uso cotidiano.

El gasto por tarea varía ampliamente incluso entre los modelos de mayor puntuación. Artificial Analysis reporta un costo de USD $10,04 por tarea del índice para Claude Opus 5.5 y USD $6,24 para GPT-6 Astra, frente a USD $1,27 para GPT-6.1 Sol. Este último queda a menos de cuatro puntos de Opus 5.5 en la puntuación general y cuesta alrededor de una octava parte por tarea, según las estimaciones divulgadas.

Al considerar los diez modelos mejor puntuados que aparecen en la comparación de costos, GPT-6.1 Terra es el más económico, con USD $0,96 por tarea, mientras Claude Fable 5.1 llega a USD $13,04. La diferencia supera 13 veces, aunque el precio no equivale por sí mismo a una medida de calidad y el índice no convierte esos costos en una recomendación de compra. La elección entre modelos puede depender tanto del rendimiento necesario como de los recursos disponibles para ejecutar las tareas.

Artificial Analysis también observó que los ajustes de esfuerzo modifican más los resultados en v5 que en v4.3. Claude Opus 5.5 pasó de 35 puntos con esfuerzo bajo a 58 con esfuerzo máximo, y su costo por tarea subió de USD $0,98 a USD $10,04; Claude Sonnet 5.5 amplió su rango de puntuación a 29 puntos, frente a 20 en v4.3. Para GPT-6.1 Sol, el rango se duplicó de 10 a 20 puntos.

El uso de tokens creció en todas las familias de modelos que midió la organización, con una mediana de 59.000 tokens de salida por tarea frente a 35.000 en v4.3. Las evaluaciones agénticas Terminal-Bench-Science, Terminal-Bench 4.0, AA-Briefcase y FrontierCode 2.0 concentran 55% del peso del índice, pero representan cerca de 90% de la mediana de tokens generados. Terminal-Bench-Science, por sí sola, equivale aproximadamente a un tercio de los tokens de salida por tarea.

Una escala para seguir la evolución de la IA

Junto al Intelligence Index v5, Artificial Analysis presentó Progress Index v1, una escala que sitúa modelos de lenguaje publicados desde noviembre de 2022 y busca seguir su capacidad subyacente a través de distintos benchmarks. La organización plantea que esta herramienta permite observar cambios a lo largo del tiempo, incluso al comparar modelos lanzados con años de diferencia. Para evaluar la frontera actual y comparar sistemas destinados a usos presentes, mantiene el Intelligence Index como su referencia principal.

Artificial Analysis señaló que tomó aprendizajes del Epoch Capabilities Index al diseñar el Progress Index y agradeció la colaboración de Epoch AI y Anthropic en ese trabajo. Para las evaluaciones de v5, reconoció a Cognition, Steven Dillmann y el equipo de Terminal-Bench, al Center for AI Safety y Scale AI, además de Minhui Zhu, Minyang Tian, Hao Peng y el equipo de CritPt. Los resultados completos y las metodologías de ambos índices están disponibles en el sitio de Artificial Analysis.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados