Por Canuto  

Google Cloud AI Research evaluó agentes de inteligencia artificial en 85 tareas de ingeniería mecánica, eléctrica, civil y estructural. El mejor resultado fue 50,6%, pero el cumplimiento de todas las restricciones rigurosas cayó a 41,3%, una señal de que estas herramientas todavía necesitan supervisión humana en trabajos con consecuencias materiales.
***

  • El benchmark PLE reunió 85 tareas de ingeniería y el mejor agente, Claude Opus 5.5, promedió 50,6% en tres ejecuciones.
  • El agente líder cumplió todas las restricciones rigurosas en solo 41,3% de las tareas de diseño.
  • Claude Opus 5.5 consumió alrededor de 27 millones de tokens y 63 minutos por tarea, con un costo de inferencia aproximado de USD $17.

Los agentes de inteligencia artificial todavía están lejos de resolver de manera autónoma tareas complejas de ingeniería, según un nuevo benchmark de Google Cloud AI Research. La evaluación, descrita en el estudio PLE: Physical-Engineering’s Last Exam, reúne 85 encargos inspirados en trabajo profesional. Claude Opus 5.5 obtuvo la puntuación más alta, con un promedio de 50,6% en tres ejecuciones, mientras que el cumplimiento integral de restricciones de diseño fue mucho menor.

La diferencia importa porque una respuesta parcialmente correcta no necesariamente sirve para una obra, un circuito o un cálculo estructural. El estudio encontró que el agente líder satisfizo todas las restricciones rigurosas en apenas 41,3% de las tareas de diseño, un resultado que pone el foco menos en la fluidez de los modelos y más en su capacidad para respetar requisitos que no admiten excepciones.

Un examen pensado para tareas profesionales

Google Cloud AI Research presentó PLE, sigla de Physical-Engineering’s Last Exam, como una evaluación de labores prolongadas y cercanas a encargos reales de ingeniería. En lugar de medir únicamente si un modelo responde preguntas breves, el benchmark le pide producir entregables que podrían formar parte del trabajo facturable de una firma, como paquetes de cálculos y revisiones de diseño.

Las 85 tareas cubren cuatro disciplinas: 30 corresponden a ingeniería mecánica, 27 a eléctrica, 18 a civil y 10 a estructural. Esa composición expone a los agentes a problemas variados, desde diseños y cálculos técnicos hasta la lectura de documentación asociada, aunque el material de origen no detalla una distribución por nivel de dificultad o por tipo de entregable.

El volumen documental añade otra exigencia: cada tarea incluye un corpus de proyecto que promedia 61 archivos. El agente debe revisar planos, especificaciones y datos antes de abordar el problema central, una etapa que se parece más a organizar información técnica dispersa que a contestar una consulta aislada en una conversación.

La construcción del examen siguió dos métodos. Expertos redactaron 44 tareas de principio a fin, mientras que las 41 restantes surgieron de un proceso adversarial entre creadores y solucionadores, con revisión experta; así, el benchmark combina ejercicios diseñados directamente por especialistas con casos sometidos a una elaboración competitiva.

Claude encabeza la tabla, con una ventaja limitada

Claude Opus 5.5, de Anthropic, obtuvo el mejor promedio: 50,6% en tres ejecuciones. GPT-6 Astra, de OpenAI, quedó cerca, con 48,3%, mientras que las configuraciones de Gemini de Google se ubicaron en la franja baja y media de los 40 puntos, de acuerdo con los resultados descritos en el estudio sobre el benchmark.

La distancia entre el primer y el segundo lugar fue de 2,3 puntos porcentuales, y ninguno de los dos superó con holgura la mitad de la puntuación. Ese margen no permite concluir por sí solo que un sistema sea consistentemente superior en cada disciplina, pero sí muestra que el resultado general de los líderes sigue siendo moderado incluso en una prueba creada para evaluar capacidades de ingeniería.

El promedio, además, no cuenta toda la historia. Según el artículo, la cifra de 50,6% puede reflejar crédito parcial por la metodología o la presentación de una respuesta, aunque el diseño final incumpla una condición obligatoria; por eso, el porcentaje de tareas en las que se respetaron todas las restricciones rigurosas ofrece una medida más exigente del desempeño.

En ese indicador, Claude Opus 5.5 alcanzó 41,3% en tareas de diseño. Dicho de otro modo, en la mayoría de esos casos el agente no logró cumplir cada requisito crítico, de modo que una respuesta convincente o bien estructurada no basta para demostrar que el resultado sea seguro o técnicamente aceptable.

El costo de producir una respuesta

El desempeño líder también requirió una cantidad considerable de recursos computacionales: Claude Opus 5.5 consumió aproximadamente 27 millones de tokens por tarea y tardó 63 minutos en completarla. El costo de inferencia estimado fue de unos USD $17 por encargo, según los datos consignados en la publicación.

La cifra de costo puede parecer baja frente al tiempo que una persona podría dedicar a un trabajo de ingeniería, pero no equivale a un ahorro comprobado para una empresa. La comparación solo sería útil si también se conocieran el costo de verificación, las correcciones necesarias, la responsabilidad profesional y el tiempo que un especialista debe invertir para validar cada entregable.

La propia evaluación apunta a una diferencia importante entre producir documentos y entregar trabajo confiable. Un agente que organiza decenas de archivos o redacta un paquete de cálculos podría ayudar a acelerar tareas documentales, pero una restricción incumplida puede invalidar el resultado y exigir que un profesional vuelva a examinarlo antes de considerar cualquier uso.

Por ello, el costo por tarea no debería leerse separado de la tasa de cumplimiento. Si un sistema utiliza decenas de millones de tokens y cerca de una hora para lograr una puntuación promedio apenas superior a 50%, la eficiencia futura dependerá tanto de reducir el consumo y el tiempo como de aumentar la precisión en los requisitos que no admiten errores.

Pruebas públicas y supervisión humana

Google acompañó el trabajo con un repositorio público que incluye 29 tareas de desarrollo y herramientas de soporte; las otras 56 permanecen ocultas para una posible tabla de clasificación competitiva. La separación busca reservar una parte de la evaluación y evitar que todos los ejercicios queden expuestos desde el inicio a los modelos que se pretende medir.

La preocupación es metodológica: cuando las preguntas de un benchmark se hacen públicas, existe el riesgo de que los sistemas incorporen ejemplos similares durante su entrenamiento y luego parezcan mejores por familiaridad con las pruebas. Mantener un conjunto reservado puede ayudar a evaluar el rendimiento ante casos no publicados, aunque el material disponible no ofrece detalles sobre una fecha de apertura o sobre las reglas de esa eventual competición.

Para las firmas de ingeniería, el resultado sugiere una utilidad potencial en tareas de apoyo intensivas en documentos, no una sustitución inmediata del criterio profesional. La prueba demuestra que los agentes pueden enfrentarse a corpus amplios y producir entregables, pero el porcentaje de cumplimiento de restricciones indica que todavía no resulta prudente confiarles sin supervisión trabajos donde una omisión pueda tener consecuencias reales.

El indicador más relevante para seguir la evolución de estos modelos será, por tanto, la proporción de diseños que respetan todos los requisitos críticos, además de la puntuación promedio. Con 41,3% en ese criterio para el agente líder, la automatización de tareas de ingeniería con exigencias estrictas sigue siendo una posibilidad en desarrollo, no una capacidad demostrada para operar de forma autónoma.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados