Por Canuto  

El modelo Fable 5.2 de Anthropic obtuvo un 41,3% en una prueba que evalúa entregas de trabajos freelance reales, muy por encima de sus predecesores y competidores. El resultado destaca avances en audio, arquitectura y modelado 3D, aunque el índice también señala tareas que los agentes de IA todavía no resuelven bien.
***

  • Fable 5.2 alcanzó un 41,3% en el Remote Labor Index, frente al 2,5% del mejor sistema registrado cuando la prueba comenzó aproximadamente un año antes.
  • El modelo superó a Fable 5.1, Opus 5.5 y GPT 6 Astra; sus avances se concentraron en edición de audio, arquitectura, interiores y modelos 3D.
  • La evaluación reúne 240 proyectos freelance con un valor conjunto de USD $144.000 y depende de revisores humanos que examinan las entregas en software profesional.

 

Fable 5.2, el nuevo modelo de Anthropic, consiguió completar con calidad profesional el 41,3% de los encargos evaluados por el Remote Labor Index (RLI), una prueba que pone a agentes de inteligencia artificial frente a proyectos freelance completos. El resultado representa un salto considerable respecto de las mediciones anteriores y coloca al sistema por encima de los demás modelos incluidos en la evaluación, según informó The Decoder.

El contraste con los primeros resultados del índice es notable: hace aproximadamente un año, Manus, entonces el sistema con mejor desempeño, resolvió apenas el 2,5% de las tareas. La puntuación actual de Fable 5.2 equivale a más de 16 veces ese porcentaje, aunque no significa que el modelo pueda sustituir de forma general a los profesionales que realizan esos encargos.

Un salto rápido en el índice de trabajo remoto

El RLI fue desarrollado por Scale Labs y el Center for AI Safety (CAIS) para medir si los agentes de IA pueden entregar trabajos completos con un nivel que un cliente pagador aceptaría. En vez de limitarse a examinar habilidades aisladas, la prueba plantea encargos de principio a fin y considera el resultado que el sistema produce dentro de herramientas profesionales.

La trayectoria de los modelos incluidos en el índice muestra cuánto cambiaron las mediciones en pocos meses. En julio, Fable 5, una versión anterior de la familia, lideraba con alrededor del 16%; cuatro meses después, Fable 5.2 marcó un 41,3%, cerca de dos veces y media aquella puntuación.

El nuevo resultado también deja atrás a Fable 5.1, el antecesor directo, que obtuvo poco menos del 18%. En términos del benchmark, Fable 5.2 completó más del doble de encargos con el estándar profesional evaluado, una diferencia que lo separa tanto de su propia generación previa como del resto de la clasificación.

El segundo lugar correspondió a Opus 5.5, también de Anthropic, con un 21,25%, mientras que GPT 6 Astra, de OpenAI, registró un 20,83%. Fable 5.2 trabajó casi con el doble de éxito que esos dos sistemas, de acuerdo con las puntuaciones reportadas para la prueba.

La distancia frente a otros modelos y las tareas que mejor resuelve

Gemini Argon 4, el modelo de Google mejor ubicado en esta evaluación, quedó quinto con un 17,08%. Otros sistemas más antiguos, entre ellos GPT-5.2 y Gemini 3 Pro, aparecieron por debajo del 3%, lo que muestra que los resultados varían ampliamente según el modelo y la versión examinada.

Scale Labs señaló que los avances más marcados de Fable 5.2 se concentran en edición de audio y música, diseño de arquitectura y espacios interiores, además de la creación de modelos 3D. El sistema también pudo abordar proyectos extensos y complejos que, según la organización, los modelos mejor posicionados habían fallado con frecuencia en intentos anteriores.

Un dato destacado por Scale Labs es que casi 50 de las tareas completadas con éxito por Fable 5.2 no habían sido resueltas antes por ningún agente incluido en la prueba. Ese registro apunta a capacidades nuevas dentro del conjunto evaluado, pero no equivale a decir que el modelo haya dominado todas las especialidades o que sus entregas alcancen siempre el nivel de un profesional humano.

El índice también identifica áreas donde los agentes siguen teniendo dificultades, en particular el diseño industrial de productos y la animación. Cuando fallan, los sistemas pueden entregar resultados de calidad amateur, trabajos incompletos, archivos corruptos o diseños que se contradicen entre sí, según describen los investigadores.

Proyectos reales como base de la evaluación

El conjunto de datos del RLI reúne 240 proyectos completados por 358 profesionales verificados en Upwork, con un valor total aproximado de USD $144.000. Cada encargo cuesta en promedio USD $632,60 y requiere a un freelancer humano algo menos de 29 horas, cifras que dan una referencia sobre la complejidad y el valor económico de los trabajos.

Las tareas abarcan desde edición de video hasta diseño asistido por computadora, desarrollo de videojuegos y análisis de datos. Por esa variedad, el índice no mide únicamente si un agente responde correctamente a una instrucción breve, sino si puede producir un conjunto de archivos y resultados utilizables para resolver un encargo profesional concreto.

Para ejecutar los proyectos, los agentes reciben acceso a un espacio de trabajo virtual equipado con programas de uso profesional como Blender, GIMP y Audacity. También disponen de herramientas especializadas de inteligencia artificial para generar imágenes, audio y video, lo que permite evaluar su desempeño dentro de un flujo de trabajo con varias aplicaciones.

Entre los ejemplos de encargos figura la creación de un plano de planta, alternativas de amueblamiento y renders fotorrealistas para un baño. La ilustración asociada a ese ejemplo mostraba resultados de modelos anteriores y, de acuerdo con el material fuente, todavía no había sido actualizada para reflejar los resultados más recientes.

La revisión humana sigue siendo decisiva

Expertos humanos capacitados verifican manualmente si cada agente completó con éxito su trabajo. Para hacerlo, abren los archivos entregados en el software profesional correspondiente y comparan directamente el resultado de la IA con el producto que había presentado el freelancer humano en el proyecto original.

Ese proceso importa porque una entrega puede parecer convincente en una imagen o una vista previa y, sin embargo, contener problemas técnicos que impidan utilizarla. La revisión busca comprobar los archivos dentro de las aplicaciones pertinentes, en lugar de confiar únicamente en una presentación pulida o en una respuesta escrita por el agente.

CAIS intentó automatizar esta evaluación con otro sistema de inteligencia artificial, pero esos esfuerzos no han funcionado de manera fiable hasta ahora. Según los investigadores, los revisores automáticos apenas pueden operar por sí mismos el software profesional y pueden dejarse engañar por entregas visualmente atractivas, calificándolas con demasiada generosidad pese a sus fallos técnicos.

Por eso, el 41,3% debe leerse como el porcentaje de encargos que Fable 5.2 superó bajo las condiciones y los criterios de este índice, no como una medida universal de reemplazo laboral. La prueba registra avances importantes, pero también conserva límites visibles: más de la mitad de los trabajos no alcanzó el estándar de aceptación y la validación de los resultados continúa dependiendo de especialistas humanos.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados