Por Canuto  

OpenAI presentó BioBasicsBench, una evaluación de 100 tareas que enfrenta agentes de IA con imágenes, lecturas y otros datos de experimentos rutinarios. GPT-6 Astra superó a GPT-5.6 Sol en la puntuación media, pero las pruebas también exhibieron errores que podrían llevar a conclusiones y decisiones experimentales equivocadas.
***

  • En el ajuste de mayor esfuerzo de razonamiento, GPT-6 Astra obtuvo una recompensa media de 66,7%, frente a 43,8% de GPT-5.6 Sol.
  • Las tareas combinan imágenes, videos, lecturas de secuenciación y otros datos reales, incluidos resultados ambiguos o contradictorios.
  • El benchmark también detectó errores al interpretar controles, escoger colonias y contar células, por lo que una puntuación alta aún no implica fiabilidad en el laboratorio.

OpenAI mide a sus agentes de IA con datos de laboratorio y encuentra fallos de criterio

OpenAI presentó BioBasicsBench, una evaluación de 100 tareas diseñada para medir si los agentes de inteligencia artificial pueden interpretar evidencia de experimentos rutinarios de laboratorio húmedo. En los resultados del ajuste de mayor esfuerzo de razonamiento, GPT-6 Astra alcanzó una recompensa media de 66,7%, por encima del 43,8% de GPT-5.6 Sol, aunque el informe también documenta errores capaces de afectar decisiones experimentales.

Una prueba basada en evidencia experimental cotidiana

BioBasicsBench fue desarrollado junto con Ligo, una compañía dedicada al diseño de enzimas, y busca evaluar una clase de material que suele quedar fuera de las pruebas centradas en gráficos o imágenes seleccionadas para artículos científicos. El trabajo cotidiano en un laboratorio también produce experimentos fallidos, imágenes ambiguas, observaciones que se contradicen y problemas que requieren verificar procedimientos y controles antes de formular una conclusión.

Las tareas piden a los agentes que interpreten datos experimentales, detecten posibles errores y reconozcan cuándo la evidencia disponible no permite sostener una respuesta. El benchmark abarca métodos de proteínas, imágenes y citometría, cuantificación y ensayos, métodos de ácidos nucleicos y clonación molecular, de modo que no se limita a una única modalidad de análisis.

Los científicos construyeron las evaluaciones a partir de sus propios experimentos y redactaron las rúbricas con las que se califican las respuestas. Entre las entradas hay imágenes de geles y blots, placas de colonias, pilas de microscopía, lecturas de secuenciación, exportaciones de lectores de placas, fotografías de bancos de trabajo y videos de protocolos.

Una tarea puede combinar varios tipos de evidencia con materiales de referencia, como gráficos de escaleras o mapas de plásmidos, y solicitar una conclusión, una medición o una recomendación estructurada. Las rúbricas asignan crédito por elementos como los resultados numéricos y el razonamiento que los respalda, pero también por indicar que los datos son insuficientes, una cautela necesaria cuando el experimento no permite descartar interpretaciones alternativas.

Cómo se calificaron los modelos

La recompensa media expresa la puntuación promedio de una tarea como porcentaje del crédito disponible, una medida que resume el desempeño sin significar que cada respuesta haya sido correcta o segura. En el ajuste xhigh, el de mayor esfuerzo de razonamiento reportado para los siete modelos probados, GPT-6 Astra obtuvo 66,7%, con un intervalo de confianza del 95% entre 60,3% y 73,1%.

En esa misma configuración, GPT-5.6 Sol registró una recompensa media de 43,8%, con un intervalo de confianza del 95% de 37,6% a 50,0%. Astra promedió 4.704 tokens de salida por tarea, frente a 9.099 de Sol; el reporte presenta ambos datos junto con las puntuaciones, pero estos promedios de tokens no demuestran por sí mismos que una respuesta sea más precisa.

La evaluación abarcó 37 combinaciones de modelo y esfuerzo de razonamiento. Cada configuración tuvo cinco intentos en cada una de las 100 tareas, lo que produjo 18.500 resultados en total y permitió observar tanto el rendimiento promedio como las variaciones entre respuestas.

Para calcular los intervalos de confianza, el equipo remuestreó tareas completas y mantuvo juntos los cinco intentos correspondientes a cada tarea. Además, cada evaluación recibió una revisión interna de un científico de Ligo que no la había redactado, una revisión externa de un científico de laboratorio húmedo con doctorado y una revisión interna final del enunciado, la evidencia, la rúbrica, las notas del autor y un intento modelado calificado.

Mejoras al interpretar imágenes y contexto

En uno de los ejemplos, GPT-5.6 Sol clasificó células como muertas porque detectó una señal de tinte, mientras que Astra observó que las ventanas de detección superpuestas podían permitir interferencia de un segundo tinte. En lugar de convertir esa señal en una conclusión definitiva, el modelo pidió controles que permitieran separar las señales y aclarar qué indicaban los datos.

Una tarea de clonación de ADN mostró otro tipo de diferencia: Sol basó su conclusión en que no veía colonias en una placa de control negativo, pero Astra advirtió que la placa estaba etiquetada para kanamicina aunque el experimento utilizaba ampicilina. Por esa discrepancia, la consideró un control poco confiable, una observación relevante porque un control mal identificado puede invalidar la interpretación del resultado experimental.

En otra prueba, las células parecían desaparecer mientras se movían fuera de foco. Sol buscó una explicación biológica para esa aparente desaparición, mientras que Astra identificó que la secuencia correspondía a un z-stack, es decir, una serie de imágenes tomadas a distintas profundidades.

OpenAI interpreta estos casos como indicios de avances en manejo multimodal, uso del contexto experimental y reconocimiento de los límites de la evidencia, además de señalar la posible importancia de las capacidades multimodales nativas para el análisis rutinario. Sin embargo, son ejemplos de tareas concretas y no bastan para demostrar que un sistema pueda sustituir el juicio de una persona con experiencia en el laboratorio.

Errores que aún pueden cambiar una decisión

El propio benchmark muestra por qué una puntuación agregada alta no equivale a un criterio de laboratorio confiable. En una tarea de colony-PCR, Astra escogió los carriles 4, 6, 7 y 8 al asumir que un producto de PCR más grande indicaba una clonación exitosa, mientras que la interpretación de referencia seleccionó los carriles 5, 9 y 10.

Según el informe, ese fallo habría llevado a purificar el plásmido equivocado, una consecuencia práctica que no queda reflejada por completo en una cifra promedio. El caso subraya que el agente puede analizar una imagen y ofrecer una explicación, pero aun así aplicar una regla incorrecta al tomar la decisión final sobre qué muestra seleccionar.

En otra respuesta, Astra generalizó que las vacuolas, compartimentos dentro de las células, suelen verse más oscuras que el material celular que las rodea, aunque en la imagen evaluada aparecían más claras. El cambio de profundidad de enfoque puede invertir el contraste y las observaciones intermedias del propio modelo señalaban que este variaba con el enfoque, pero esa salvedad no gobernó su conclusión final.

El conteo de colonias presentó un problema distinto: Astra no separó algunos vecinos cercanos, omitió colonias visibles y marcó como vacío un sector de agar. El resultado fue un conteo aproximadamente 12% superior al de referencia; con el volumen de placa y la dilución fijos, ese exceso inflaría en la misma proporción la eficiencia estimada de introducción de ADN.

OpenAI indicó que también informará sobre la evaluación de las consecuencias de bioseguridad y bioprotección de estas capacidades. Por ahora, los resultados plantean un estándar más exigente que aumentar la recompensa media: el agente debe llevar observaciones precisas hasta la conclusión, comprobar que los controles sean válidos y abstenerse cuando los datos no justifican una respuesta.

BioBasicsBench convierte esas exigencias en objetivos de evaluación y expone la distancia entre reconocer detalles en imágenes o archivos y tomar una decisión experimental sólida. La herramienta permite examinar errores concretos con datos rutinarios, pero sus resultados no eliminan la necesidad de revisión científica, especialmente cuando una selección equivocada puede conducir a trabajar con la muestra incorrecta o a estimar mal un resultado.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados