Por Canuto  

La científica cognitiva Melanie Mitchell advierte que los grandes modelos de lenguaje pueden producir respuestas convincentes sin razonar como los humanos. Propone seis principios para evaluar su comprensión, detectar fallas y evitar que los benchmarks confundan una actuación correcta con inteligencia general.
***

  • Melanie Mitchell describe la IA como una forma de inteligencia alienígena, distinta de la cognición humana y animal.
  • La investigadora propone seis principios que incluyen controles experimentales, pruebas de generalización, interpretabilidad y análisis de fallos.
  • El caso del caballo Clever Hans ilustra cómo una máquina puede acertar por señales indirectas y no por la capacidad que el evaluador cree estar midiendo.

Una inteligencia que no debe medirse con intuiciones humanas

La expansión de los grandes modelos de lenguaje ha reabierto una pregunta que combina tecnología, filosofía y ciencia cognitiva: cuando una IA responde con fluidez, ¿está razonando o solo produce una secuencia de texto que se parece al razonamiento? La distinción tiene consecuencias prácticas, porque determina qué tareas pueden delegarse, cuánta supervisión necesitan las personas y qué riesgos aparecen cuando una respuesta convincente resulta equivocada.

En una conversación difundida por Quanta Magazine, la científica informática Melanie Mitchell planteó que los sistemas actuales deben entenderse como una forma de inteligencia alienígena. La expresión no alude a seres extraterrestres, sino a mecanismos cognitivos que aprenden, generalizan y fallan de manera distinta a los humanos, incluso cuando fueron entrenados con lenguaje, libros, imágenes y material producido por nuestra sociedad.

Mitchell es profesora del Santa Fe Institute y trabaja en inteligencia artificial, ciencia cognitiva y sistemas complejos. La investigadora sostuvo que la inteligencia artificial se ha desarrollado más cerca de la estadística y el aprendizaje a partir de datos que de los modelos explícitos de la psicología humana. Las primeras redes neuronales tenían una inspiración relacionada con la neurociencia, pero los sistemas contemporáneos se alejaron considerablemente de esa referencia biológica, lo que dificulta aplicarles categorías intuitivas como comprensión, creatividad o razonamiento.

La investigadora recordó que la ciencia cognitiva intentó integrar la psicología, la neurociencia y la inteligencia artificial, aunque esa conexión no prosperó como se esperaba. Mientras algunos enfoques buscaban programar máquinas siguiendo la forma en que supuestamente operaba la mente humana, el aprendizaje automático terminó privilegiando arquitecturas que extraen patrones de enormes volúmenes de datos, con resultados poderosos pero difíciles de interpretar.

Seis principios para evaluar la cognición artificial

El primer principio propuesto por Mitchell consiste en reconocer el sesgo antropomórfico de los evaluadores. La capacidad de un modelo para conversar en inglés fluido puede inducir a las personas a atribuirle características humanas, aunque su funcionamiento interno y sus límites no se parezcan a los de una mente humana adulta.

El segundo principio exige escepticismo frente a las hipótesis y el diseño de experimentos de control, una regla elemental de la investigación científica que, según Mitchell, no siempre se aplica con suficiente rigor en inteligencia artificial. El tercer principio pide crear variaciones de los estímulos y de las pruebas para determinar si una habilidad resiste cambios o si depende de una coincidencia particular presente en el conjunto de evaluación.

El cuarto principio sostiene que los sistemas no deben tratarse como cajas negras impenetrables. Mitchell defendió el desarrollo de herramientas que permitan examinar activaciones, pesos y otros componentes internos, además de promover una actitud de curiosidad sobre las razones por las que un modelo produce una respuesta determinada.

El quinto principio distingue entre el rendimiento observado y la competencia real. Un sistema puede resolver una tarea concreta sin dominar la capacidad general que esa tarea pretende medir, del mismo modo que un estudiante puede memorizar un ejercicio y fracasar cuando el problema cambia ligeramente.

El sexto principio consiste en analizar los tipos de fallo y conservar los resultados negativos como evidencia útil. En lugar de celebrar únicamente los aciertos, los investigadores deberían estudiar cuándo, cómo y por qué un sistema se equivoca, porque esas fallas pueden revelar limitaciones que una puntuación promedio oculta.

El caballo Clever Hans y las trampas de los benchmarks

Mitchell recurrió al caso de Clever Hans, un caballo alemán de comienzos del siglo XX que parecía responder preguntas de aritmética golpeando el suelo con una pata. El animal se ganó la reputación de realizar cálculos, hasta que el psicólogo Oskar Pfungst introdujo controles para comprobar qué ocurría cuando el caballo no podía observar a la persona que formulaba la pregunta.

El experimento mostró que Clever Hans no resolvía sumas como suponían sus admiradores. En realidad, detectaba señales sutiles en el rostro y la conducta de los observadores, quienes reaccionaban inconscientemente cuando el número de golpes se aproximaba a la respuesta correcta; el caballo era hábil, pero en la lectura de señales sociales.

Para Mitchell, la lección resulta especialmente importante en la evaluación de modelos de IA. Un sistema puede contestar preguntas sobre diagramas científicos sin utilizar realmente los diagramas, si existe una asociación accidental entre las palabras de la pregunta y la respuesta esperada.

La prueba de control, en ese caso, consiste en presentar las preguntas sin los diagramas y observar si el desempeño se mantiene. Si el modelo conserva una puntuación elevada, el benchmark quizá mida atajos lingüísticos o correlaciones espurias, no la capacidad visual y conceptual que sus diseñadores pretendían evaluar.

La investigadora también señaló que la replicación independiente sigue siendo poco común en inteligencia artificial. Los estudios pueden contener variables confusas que sus autores no anticiparon, por lo que grupos externos deberían repetirlos antes de aceptar que una capacidad quedó demostrada.

Matemáticas, creatividad y transferencia

La conversación abordó los avances recientes de la IA en matemáticas, incluido un resultado relacionado con un problema de Paul Erdős que combinó áreas matemáticas de una forma que sorprendió a especialistas. Steven Strogatz, matemático y uno de los conductores del programa, describió esa conexión como potencialmente creativa, aunque también planteó que una búsqueda masiva entre conocimientos existentes puede producir ocasionalmente una combinación afortunada.

Mitchell consideró creativo unir elementos inesperados y obtener una solución funcional, pero advirtió que todavía es difícil saber cómo llegó el sistema a ese resultado. A diferencia de los programas tempranos que generaban cientos de combinaciones y requerían que un humano identificara cuáles eran interesantes, los modelos actuales pueden explorar rutas equivocadas y producir cantidades de tokens de razonamiento a una escala mucho mayor.

La cuestión de la transferencia también cambió desde los sistemas especializados que jugaban videojuegos. Un programa entrenado para un juego de Atari podía fallar ante una modificación mínima del escenario, mientras que un modelo de lenguaje ha absorbido material de múltiples áreas y, por ello, parece capaz de unir conceptos procedentes de campos diferentes.

Sin embargo, Mitchell señaló que sigue siendo difícil determinar si existe transferencia genuina cuando el modelo fue entrenado con una parte tan amplia del conocimiento disponible. En matemáticas, muchos libros, videos y textos están publicados en internet, de modo que no siempre es claro si el sistema descubrió una estrategia nueva o recuperó y recombinó información aprendida previamente.

La investigadora cuestionó además la idea de que superar un benchmark equivalga a realizar un trabajo completo. Aprobar un examen profesional o interpretar imágenes radiológicas puede demostrar competencia en una tarea delimitada, pero una profesión incluye decisiones abiertas, interacción con otras personas, responsabilidad y adaptación a situaciones que no aparecen en una lista cerrada.

Comprensión, trabajo científico e interpretabilidad

Mitchell evitó presentar la comprensión como una propiedad única y perfectamente definida. Explicó que un modelo puede generar una historia coherente y atractiva, pero fallar cuando debe responder preguntas sobre su estructura, sus temas o sus implicaciones, lo que sugiere que producir un texto y comprenderlo desde varias dimensiones no son necesariamente la misma capacidad.

Esta perspectiva también afecta la discusión sobre empleos y productividad. Que un sistema realice muchas tareas vinculadas con una profesión no significa automáticamente que pueda reemplazar el trabajo entero, porque los oficios combinan objetivos ambiguos, contexto social, juicio, interacción y responsabilidad, elementos que los benchmarks suelen reducir a preguntas individuales.

En matemáticas, Strogatz distinguió entre resolver problemas y construir teorías o conceptos nuevos. Ambos interlocutores debatieron si la IA podría convertirse en una herramienta extraordinaria para la disciplina y, al mismo tiempo, desplazar a los humanos de algunas actividades, especialmente aquellas donde la verificación formal permite demostrar con claridad si una respuesta es correcta.

La conversación también destacó la importancia de la experiencia encarnada y de la inspiración tomada del mundo real. Strogatz observó que muchas ideas matemáticas surgen de la naturaleza, la ingeniería y la sociedad, mientras Mitchell recordó trabajos que relacionan la comprensión matemática con metáforas y con la corporización humana.

Para el futuro, Mitchell identificó la interpretabilidad mecánica como una prioridad. El campo busca desarrollar un equivalente de la neurociencia para examinar las activaciones, los pesos y los circuitos internos de los modelos, con la esperanza de anticipar sus limitaciones, explicar sus errores y encontrar formas más precisas de corregirlos.

La meta no es únicamente hacer que una IA responda mejor, sino comprender qué computaciones emergentes realiza y por qué. Sin esa investigación, una puntuación elevada puede ocultar una dependencia frágil de datos de entrenamiento, señales accidentales o estrategias que funcionan en una prueba, pero se desmoronan en el mundo real.

El valor humano más allá de ser el mejor

El cierre de la conversación llevó el debate hacia una pregunta menos técnica: qué ocurrirá si las máquinas llegan a resolver problemas científicos mejor que las personas. Strogatz planteó que la ciencia tiene una doble dimensión, porque ofrece herramientas para transformar el mundo, pero también satisface una curiosidad humana que no depende de ganar una competencia ni de producir el descubrimiento más importante.

Janna Levin señaló que un descubrimiento generado por una computadora puede no convertirse en conocimiento para la humanidad hasta que alguien lo exprese de una manera comprensible. Desde esa perspectiva, la intervención humana no desaparece necesariamente cuando una máquina encuentra una respuesta, ya que interpretar, contextualizar y entender siguen siendo actividades distintas de calcular o producir símbolos.

Mitchell relató que su interés nació con los acertijos de lógica y se consolidó al leer Gödel, Escher, Bach, de Douglas Hofstadter. La posibilidad de relacionar lógica matemática, creatividad, cognición e inteligencia artificial la llevó a investigar estos problemas, aunque reconoció que hoy incluso los jóvenes que desean hacer investigación en aprendizaje automático pueden sentirse inseguros ante la posibilidad de que la IA termine automatizando parte de la propia investigación.

Los participantes coincidieron en que los próximos años podrían traer una etapa de productividad científica acelerada, con sistemas de IA trabajando junto a investigadores en campos como las matemáticas, la genética, la cosmología y el pronóstico del tiempo. No obstante, esa expectativa de progreso no elimina la necesidad de evaluar con cuidado qué se descubrió, qué se comprendió y qué tipo de evidencia respalda cada afirmación.

La advertencia central de Mitchell resulta aplicable a cualquier industria que utilice modelos de IA para tomar decisiones: una respuesta correcta no basta para demostrar inteligencia general. Antes de delegar funciones críticas, las organizaciones tendrán que probar la robustez, estudiar los fallos, separar las correlaciones de las capacidades y aceptar que una máquina puede acertar por razones muy diferentes de las que imaginan sus usuarios.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados