Por Canuto  

Claude Opus 5.5 completó en menos de tres horas una investigación que suele tomar 16 a contratistas de Epoch AI. La prueba también mostró los límites del modelo: errores en anotaciones y clasificaciones obligan a mantener la revisión humana, mientras el resultado de mayor puntuación tuvo un costo superior al de un contratista.
***

  • Claude Opus 5.5 obtuvo 87,5% y terminó en menos de tres horas, con un costo inferior al de un contratista.
  • Claude Fable 5.2 alcanzó 97,5% en unas seis horas y media, pero costó más que la alternativa humana.
  • Epoch AI considera orientar a contratistas hacia la revisión de resultados de IA, que todavía requieren correcciones.


La prueba de Epoch AI sugiere que algunos trabajos de investigación externalizados podrían acelerarse con inteligencia artificial, aunque los resultados todavía necesitan revisión humana.

Una tarea de 16 horas, completada en menos de tres

Claude Opus 5.5, de Anthropic, completó en poco menos de tres horas una investigación que suele requerir unas 16 horas de trabajo de un contratista humano por centro de datos. La tarea consistía en reunir y evaluar información sobre EcoDataCenter 1 para una base de datos especializada, un proceso que combina reportes periodísticos, registros regulatorios e imágenes satelitales. La prueba fue reportada por Epoch AI el 17 de noviembre.

El encargo no se limitaba a recopilar datos de una sola fuente: exigía establecer detalles sobre una instalación y presentar los hallazgos conforme a criterios de investigación definidos. Antes de comparar los resultados, el equipo entregó a los modelos las pautas utilizadas para los contratistas, las herramientas disponibles y los criterios de evaluación. Así, la comparación buscó medir el trabajo producido frente a los estándares aplicados a las personas que realizan esa labor.

Opus 5.5 obtuvo una puntuación de 87,5% y terminó en menos de tres horas, con un costo inferior al de contratar a un investigador humano para la tarea. La cifra de 16 horas corresponde al tiempo típico que dedica un contratista por cada sitio, no a una medición del tiempo total necesario para revisar y publicar el resultado generado por el modelo. Esa diferencia importa al evaluar cuánto tiempo podría ahorrar realmente una organización.

El resultado apunta a una posible automatización de parte del trabajo inicial, pero no demuestra que todo el proceso pueda completarse sin personas. La evaluación no especifica cuánto tiempo adicional requirió revisar cada entrega, cuánto transcurrió hasta una eventual publicación ni qué esperas particulares de imágenes se produjeron durante cada ejecución. Tampoco ofrece un desglose detallado de los costos, aunque sí compara su orden relativo.

Puntuación, costo y calidad no avanzaron al mismo ritmo

Claude Fable 5.2 obtuvo una puntuación mayor, de 97,5%, pero tardó alrededor de seis horas y media y costó más que un contratista humano. La comparación muestra que una nota superior no equivale necesariamente a una opción más barata, incluso cuando el modelo completa el encargo bastante antes que una persona. La evaluación no publicó cifras detalladas que permitan calcular la diferencia exacta de costos.

En el resumen del benchmark, las puntuaciones aparecen redondeadas a 88% para Opus y 98% para Fable, mientras que la rúbrica registra 87,5% y 97,5%, respectivamente. El informe explica que una calificación perfecta habría significado que el trabajo podía publicarse sin cambios. Ninguno de los resultados llegó a ese umbral, por lo que las notas deben leerse junto con las correcciones identificadas por el equipo.

Un analista de centros de datos consideró que las primeras entregas de ambos modelos eran comparables al trabajo que la organización recibe de sus contratistas. Esa valoración no significa que los documentos estuvieran listos para publicación: el trabajo de los propios contratistas también suele pasar por revisiones antes de ese punto. La comparación, por tanto, mide una primera entrega profesionalmente útil, no una sustitución automática del proceso editorial o de verificación.

La prueba incluyó además a GPT-6.2 Astra, de OpenAI, que obtuvo 65% en la misma tarea. Según el informe, ese modelo omitió información importante y estimaciones que la evidencia disponible podría haber respaldado. El contraste ofrece un resultado adicional dentro de este caso concreto, pero no constituye por sí solo una evaluación general de todos los modelos ni de cualquier tipo de investigación.

Los errores mantienen a las personas dentro del proceso

Las diferencias entre las entregas de los dos modelos de Anthropic aparecieron también en las tareas de revisión. Opus 5.5 necesitó ajustes en la clasificación de equipos y cambios más sustanciales en las anotaciones de imágenes. Fable 5.2 presentó anotaciones imperfectas y descripciones escritas demasiado extensas, aunque ambos modelos cumplieron el estándar fijado para los elementos de investigación central.

La interpretación visual fue uno de los puntos más delicados, en especial al etiquetar imágenes satelitales e identificar equipos. Son pasos relevantes para una base de datos que pretende describir instalaciones físicas a partir de fuentes diversas, pues un dato mal clasificado o una anotación equivocada puede afectar la calidad de la ficha resultante. La prueba no detalla cuántos errores hubo en cada categoría ni cuánto trabajo tomó corregirlos.

Por esa razón, la cercanía con el desempeño de los contratistas no equivale a una recomendación de retirar a las personas del flujo de trabajo. La organización considera que los modelos pueden producir una primera versión de la investigación, mientras que los humanos verifican hallazgos, corrigen errores y preparan el material para su publicación. El trabajo de revisión no es un detalle accesorio: forma parte de la diferencia entre una respuesta útil y una entrega lista para uso externo.

También conviene distinguir entre rapidez de ejecución y eficiencia del proceso completo. La comparación disponible mide cuánto tardaron los modelos en realizar la tarea y ofrece un orden relativo de costos, pero no incorpora un cronómetro público de cada fase humana posterior. Sin esos datos, no es posible determinar con precisión cuánto se reduce el tiempo total ni cuánto ahorra una organización cuando suma la revisión necesaria.

Contratistas como revisores de resultados de IA

Tras la evaluación, Epoch AI dijo que considera reorganizar parte del trabajo de sus contratistas. En lugar de concentrar tantas horas en recopilar y compilar información desde el inicio, podrían dedicar más tiempo a revisar entregas generadas por modelos y a realizar otros análisis de centros de datos. La propuesta plantea un cambio en la distribución de tareas, no el fin anunciado de la contratación humana.

Ese esquema trasladaría parte del esfuerzo hacia tareas de verificación y control de calidad, mientras los modelos asumirían una porción de la investigación inicial. La posibilidad es atractiva cuando un sistema puede entregar en horas un borrador que, según la evaluación, resulta comparable a una primera entrega humana. Sin embargo, los datos compartidos no cuantifican cuántos contratistas serían afectados ni establecen un calendario para implementar el cambio.

La comparación económica también advierte contra una lectura simplista de que la IA siempre reduce costos. Opus 5.5 terminó más rápido y costó menos que un contratista, mientras Fable 5.2 obtuvo una calificación superior, pero resultó más caro. Como el informe no desglosa los gastos ni mide la revisión necesaria para cada modelo, esos resultados describen esta tarea específica y no permiten extrapolar un ahorro universal.

El caso de EcoDataCenter 1 ofrece una señal concreta sobre cómo podría cambiar la investigación profesional: una máquina puede acelerar la recopilación y organización de información, pero la validación visual y la corrección siguen teniendo peso. La decisión de Epoch AI dependerá de cómo valore ese equilibrio entre velocidad, puntuación, costo y supervisión. Por ahora, la prueba muestra una automatización parcial en evaluación, con seres humanos todavía necesarios para que el resultado alcance el estándar de publicación.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín