Exinvestigador de OpenAI apuesta USD $100.000 millones por datos de entrenamiento especializados

Un exinvestigador de OpenAI sostiene que el escalamiento por sí solo no llevará a los modelos de lenguaje hacia capacidades generales. Su nueva startup apuesta por datos especializados para bioinformática y laboratorios, mientras otros investigadores advierten sobre una creciente especialización de la IA.
***

• Andrew Ho, quien dejó OpenAI después de ocho meses, calcula que los laboratorios de IA podrían invertir más de USD $100.000 millones en recolección dirigida de datos durante los próximos años.
• Su startup desarrolla conjuntos de datos para bioinformática y tareas rutinarias de laboratorio, áreas donde los modelos actuales presentan resultados poco consistentes.
• Investigadores de Cambridge y Google DeepMind cuestionan que la escala produzca verdadera generalización y señalan límites en la creatividad y la versatilidad de los modelos.

Andrew Ho, un exinvestigador de OpenAI, abandonó la compañía después de solo ocho meses con una convicción incómoda para la industria: los modelos de lenguaje grandes generalizan mal. Según su evaluación, aumentar el tamaño de los sistemas y la cantidad de cómputo no resolverá por sí solo sus fallas más importantes.

Ho ahora impulsa una startup enfocada en producir datos de entrenamiento de alta calidad. Su tesis coloca el suministro de información especializada en el centro de la próxima etapa de la inteligencia artificial, por encima de la carrera exclusiva por construir modelos cada vez más grandes, indica un reporte publicado por The Decoder.

El déficit de datos amenaza la próxima etapa de la IA

Los modelos de lenguaje se entrenan con grandes volúmenes de texto, código y otros materiales digitales. Sin embargo, muchas habilidades con valor económico aparecen pocas veces en esos conjuntos de datos o carecen de ejemplos suficientes para enseñar un desempeño confiable.

Ho sostiene que el trabajo real suele depender del contexto y no puede codificarse fácilmente en un entorno escalable. Incluso cuando los investigadores observan una ruta seguida por una persona competente, les resulta difícil determinar si otras decisiones posibles también habrían producido un buen resultado.

“El trabajo es altamente contextual y no se puede codificar fácilmente en un entorno escalable”, escribió Ho. También señaló que un camino humano aparentemente correcto no permite saber con facilidad si las alternativas y los escenarios contrafactuales habrían sido buenos o malos.

Esta limitación afecta especialmente a las tareas donde no existe una respuesta automática para verificar el resultado. En programación, por ejemplo, un sistema puede comprobar si el código funciona, pero muchas labores científicas, administrativas o creativas requieren criterios más complejos.

Por esa razón, Ho espera que los laboratorios de inteligencia artificial tengan que gastar más de USD $100.000 millones en recolección dirigida de datos durante los próximos años. La cifra representa una apuesta sobre el tamaño potencial de un mercado todavía en formación.

La startup comenzó con dos líneas de trabajo. La primera reúne datos para análisis científicos complejos en bioinformática, mientras la segunda busca documentar tareas cotidianas de laboratorio, como la evaluación de fotografías de experimentos enviadas a sistemas de IA.

El interés por la bioinformática responde a una brecha concreta entre la capacidad aparente y el desempeño práctico. De acuerdo con el material citado por The Decoder, modelos actuales como GPT-5.6 Sol alcanzan cerca de un 30% de éxito en determinados análisis científicos complejos.

Ho trabajó precisamente en ese campo durante su paso por OpenAI. La experiencia habría reforzado su opinión de que los modelos necesitan datos más específicos para desempeñarse de manera consistente en escenarios científicos.

La empresa planea ampliar sus conjuntos de datos hacia química, ciencia de materiales, atención médica y otras áreas del trabajo intelectual. La estrategia busca capturar habilidades que no están representadas de forma suficiente en los corpus generales disponibles en internet.

Escalar modelos no garantiza generalización

El debate sobre la generalización pregunta si un modelo puede desarrollar capacidades que vayan más allá de reproducir y recombinar los patrones de sus datos de entrenamiento. La respuesta continúa dividendo a los investigadores, especialmente cuando la tarea exige resolver problemas nuevos sin precedentes claros.

Adam Hunt, investigador de la Universidad de Cambridge, también se muestra escéptico frente a las expectativas más optimistas. Hunt explicó que su visión de los modelos de lenguaje cambió desde el entusiasmo inicial hacia una postura cada vez más pesimista.

Su observación principal es que los modelos recientes podrían estar volviéndose más especializados, no más versátiles. Las capacidades de programación y matemáticas complejas continúan avanzando, pero la calidad del lenguaje y la lógica simple permanecen estancadas o incluso retroceden.

Este desarrollo contradice la idea de una mejora amplia y uniforme en todas las tareas. Un sistema puede conseguir resultados sobresalientes en un área concreta y, al mismo tiempo, mostrar debilidades en habilidades consideradas básicas.

Hunt atribuye parte de la diferencia al aprendizaje por refuerzo. Esta técnica funciona mejor en dominios como el código, donde existen señales de recompensa claras y conjuntos de datos relativamente completos.

En otros campos, los resultados son difíciles de evaluar automáticamente. Sin una señal de recompensa precisa, el sistema no recibe una guía comparable para distinguir entre una respuesta útil, una solución mediocre y una salida aparentemente convincente pero equivocada.

Desde esta perspectiva, el progreso temprano de los modelos de lenguaje pudo surgir como un efecto secundario de entrenarlos con corpus de texto muy amplios. Esa capacidad de responder en múltiples áreas no demostraría necesariamente una comprensión general.

Hunt calcula que su confianza en una solución favorable al problema de la generalización ronda el 40%. También reconoce que futuros avances técnicos podrían demostrar que su evaluación es demasiado pesimista.

Una posibilidad consistiría en combinar modelos especializados dentro de sistemas más amplios. Esa arquitectura podría acercarse a una inteligencia general sin exigir que un único modelo resuelva de forma independiente todas las clases de problemas.

La postura de Ho también incluye una crítica financiera a los laboratorios de frontera. El exinvestigador considera que compañías como OpenAI y Anthropic mantienen valoraciones astronómicas pese a ser crónicamente no rentables.

Según su argumento, esas empresas deben invertir sumas crecientes en nuevos modelos para conservar su ventaja. Mientras tanto, competidores más baratos como Qwen y Kimi presionan los precios y dificultan la defensa de márgenes elevados.

La creatividad sigue siendo un desafío estructural

Tom Zahavy, de Google DeepMind, planteó una explicación estructural para el rendimiento desigual de los modelos. En su documento de posición “Los LLM no pueden saltar”, sostiene que estos sistemas dominan algunas formas de razonamiento, pero encuentran límites en otras.

La deducción permite extraer consecuencias a partir de reglas o hechos disponibles. La inducción ayuda a identificar patrones generales desde ejemplos, dos capacidades que los modelos de lenguaje pueden ejecutar con relativa eficacia.

El problema aparece con la abducción creativa. Esta consiste en inventar una causa o una explicación para la que todavía no existe un precedente lingüístico claro.

Un modelo entrenado sobre registros anteriores puede recombinar conceptos conocidos con gran fluidez. Sin embargo, esa habilidad no garantiza que pueda proponer una hipótesis original cuando ninguna combinación previa ofrece una guía suficiente.

Zahavy señala como posible respuesta el desarrollo de modelos de mundo controlables mediante acciones. Estos sistemas permitirían realizar experimentos contrafactuales y observar qué ocurre cuando cambian las condiciones de un escenario.

Los experimentos contrafactuales podrían ayudar a diferenciar una simple predicción basada en patrones de una comprensión más profunda de causas y consecuencias. En lugar de limitarse a completar texto, el sistema tendría la oportunidad de intervenir sobre una representación del entorno.

Esta propuesta no elimina el papel de los modelos de lenguaje. Por el contrario, los LLM podrían integrarse en sistemas más amplios, donde sus fortalezas lingüísticas complementen módulos especializados en percepción, planificación y experimentación.

La discusión también tiene consecuencias para la ciencia aplicada. En bioinformática y trabajo de laboratorio, una respuesta plausible no basta, porque un error puede alterar un análisis, desperdiciar materiales o conducir a una interpretación equivocada.

Los conjuntos de datos especializados buscan cubrir precisamente ese vacío. Fotografías de experimentos, procedimientos contextualizados y análisis científicos podrían aportar ejemplos más cercanos a las condiciones reales de uso.

No obstante, reunir esos datos plantea dificultades. Los equipos deben determinar qué acciones fueron correctas, qué alternativas eran aceptables y qué condiciones cambiaron el resultado.

La calidad del dato dependerá entonces de expertos capaces de etiquetar situaciones ambiguas. El reto no consiste solo en acumular más información, sino en registrar el contexto que permite interpretar cada decisión.

Una nueva carrera por la información especializada

La tesis de Ho desplaza la competencia entre laboratorios hacia un terreno menos visible. En lugar de concentrarse únicamente en chips, servidores y parámetros, las empresas tendrían que asegurar acceso a datos escasos y difíciles de producir.

La diferencia resulta importante porque el texto disponible en internet puede copiarse y procesarse a gran escala. En cambio, los datos de laboratorio y los procesos científicos requieren personas, equipos, protocolos y observaciones realizadas en entornos específicos.

Si la industria acepta esta premisa, los datos dejarían de ser un insumo secundario. Se convertirían en un activo estratégico capaz de definir qué habilidades puede aprender un modelo y en qué contextos puede aplicarlas.

La inversión proyectada por Ho también reflejaría una frustración con la estrategia de escalar sin límites. Los laboratorios han utilizado más cómputo y modelos mayores para obtener avances, pero esos resultados no siempre se traducen en una mejora equilibrada.

El caso de la programación ilustra esa tensión. Un sistema puede resolver problemas de código cada vez más complejos, pero todavía responder de forma irregular ante tareas de lenguaje, razonamiento cotidiano o instrucciones sencillas.

Para las empresas, esa irregularidad representa un riesgo operativo. Un modelo que falla ocasionalmente en una tarea crítica puede exigir supervisión humana constante, reduciendo el valor económico de su automatización.

Los sectores científicos enfrentan una exigencia adicional. Sus usuarios necesitan trazabilidad, criterios de validación y resultados reproducibles, elementos que no aparecen automáticamente al aumentar la escala de un modelo.

La startup de Ho apunta a construir una infraestructura de datos para esos sectores. Sus primeros productos se concentran en bioinformática y operaciones de laboratorio, aunque la hoja de ruta incluye química, materiales, salud y trabajo de conocimiento.

El éxito de esa estrategia dependerá de si los clientes consideran que los datos especializados generan mejoras medibles. También dependerá de que los laboratorios puedan obtenerlos sin comprometer privacidad, propiedad intelectual o seguridad científica.

Por ahora, la generalización continúa sin una respuesta definitiva. Hunt mantiene una probabilidad limitada de que el enfoque actual alcance una inteligencia amplia, mientras Zahavy ve posibilidades en sistemas que combinen modelos de lenguaje con mundos controlables.

La conclusión más prudente es que la escala sigue siendo útil, pero podría no ser suficiente. La próxima fase de la IA tendrá que demostrar si puede convertir más parámetros y más datos en capacidades confiables, transferibles y creativas.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín