Por Canuto  

Un experimento aleatorizado con 1.053 estudiantes de la Universidad Bocconi encontró que GPT-4o elevó significativamente las calificaciones de una tarea de marketing, aunque no pudo demostrar que la herramienta hubiera mejorado el aprendizaje. El estudio también mostró que una breve lección sobre razonamiento causal produjo propuestas más diversas y reflexivas, pero menos favorecidas por la rúbrica tradicional.
***

  • GPT-4o elevó casi un punto, en una escala de 1 a 5, las notas de una tarea de negocios.
  • La enseñanza del razonamiento causal no mejoró la calificación tradicional, pero impulsó ideas más diversas.
  • El experimento no incluyó una prueba posterior sin ChatGPT, por lo que el aprendizaje real sigue sin comprobarse.

Un experimento realizado con 1.053 estudiantes de primer curso de la Universidad Bocconi puso a prueba una pregunta que inquieta a las instituciones educativas: ¿una calificación más alta refleja un aprendizaje superior cuando el alumno trabaja con inteligencia artificial? Los resultados mostraron que GPT-4o mejoró de manera significativa el desempeño evaluado en una tarea de negocios, pero no resolvieron si los estudiantes habían incorporado realmente los conocimientos necesarios para repetir ese resultado sin asistencia.

El hallazgo adquiere relevancia porque las universidades suelen valorar trabajos bien estructurados, coherentes y cercanos a las respuestas esperadas, precisamente las características que un modelo de lenguaje puede reproducir con rapidez. Al mismo tiempo, la investigación observó que una breve intervención docente sobre razonamiento causal no elevó las notas tradicionales, aunque sí llevó a los alumnos a formular propuestas más variadas, explicar sus supuestos y considerar cuándo podrían fracasar.

GPT-4o elevó el rendimiento que medía la rúbrica

En noviembre de 2025, los investigadores dividieron aleatoriamente 13 secciones de un curso introductorio de gestión en cuatro grupos: control, lección de razonamiento causal, acceso a GPT-4o, o una combinación de ambos recursos. Los estudiantes debían redactar, en un máximo de 180 palabras, recomendaciones de marketing para la tienda de productos promocionales de la universidad, una tarea acotada que permitía comparar el contenido y la estructura de cada respuesta.

La intervención pedagógica abordó la lógica causal coherente, la falsabilidad y la relación entre una acción propuesta y el resultado que se esperaba obtener. En términos prácticos, los alumnos recibieron herramientas para preguntarse por qué una medida debería funcionar, qué condiciones necesitaba y qué evidencia podría demostrar que su planteamiento era incorrecto, en lugar de limitarse a presentar una recomendación atractiva.

Los estudiantes que utilizaron GPT-4o obtuvieron casi un punto adicional en una escala de calificación de 1 a 5. Sus textos incluyeron, en promedio, alrededor de dos ideas más, mostraron una mayor coherencia lógica y coincidieron en mayor medida con las recomendaciones elaboradas por tres expertos en la materia.

La ventaja se mantuvo incluso después de que los investigadores controlaran la calidad de la argumentación, el número y la diversidad de ideas, así como varias propiedades formales del texto. El resultado demuestra una mejora en la calidad del trabajo evaluado con apoyo de GPT-4o, pero no constituye por sí mismo evidencia de que los estudiantes hubieran adquirido más conocimientos durante el ejercicio.

El pensamiento causal produjo ideas menos convencionales

La lección de razonamiento causal no aumentó las calificaciones tradicionales y, de hecho, los trabajos de ese grupo recibieron una puntuación promedio ligeramente inferior. Sin embargo, sus respuestas explicaron con más frecuencia por qué una acción propuesta podía generar determinado resultado y bajo qué condiciones la estrategia podía fallar, dos dimensiones que no recibieron el mismo reconocimiento dentro de la evaluación convencional.

Además, los estudiantes que recibieron la lección generaron ideas más diversas, con propuestas que se apartaban de las respuestas planteadas por sus compañeros. El resultado sugiere que una formación centrada en causas, supuestos y falsabilidad puede ampliar el espacio de soluciones, aunque esa amplitud no siempre se traduzca en una nota superior cuando la rúbrica premia principalmente la claridad, la estructura y la coincidencia con el enfoque esperado.

La combinación de la lección con GPT-4o tampoco produjo un impulso adicional en las calificaciones tradicionales. En cambio, ambos enfoques se complementaron en los indicadores vinculados con el razonamiento causal, mientras que la mayor diversidad de ideas asociada con la intervención docente se mantuvo incluso cuando los alumnos tuvieron acceso al modelo de inteligencia artificial.

El contraste expone una tensión importante para la educación superior: una herramienta puede ayudar a presentar una respuesta más completa y persuasiva, mientras una clase puede estimular una exploración menos predecible de los problemas. Si el sistema de evaluación concede más valor a la primera cualidad que a la segunda, una mejora de las notas no necesariamente indica que la institución esté premiando la comprensión más profunda.

Una rúbrica puede premiar lo que la IA imita mejor

El análisis encontró que más ideas, argumentos más coherentes y una mayor diversidad interna de propuestas se relacionaron con calificaciones más altas. En sentido contrario, una mayor falsabilidad, explicaciones más detalladas sobre cómo funcionarían las acciones y una mayor divergencia respecto de las ideas de otros estudiantes se asociaron con notas más bajas, aunque eso no significa que la originalidad fuera penalizada en todos los casos.

La explicación planteada por los autores es que la tarea tenía una rúbrica orientada hacia el espacio de soluciones convencional. Bajo ese criterio, una respuesta bien organizada y pulida podía superar a otra más original que examinara con mayor rigor sus limitaciones, incluso cuando esta última ofreciera una reflexión más útil para tomar decisiones reales de marketing.

Por ello, los investigadores sostuvieron que la diversidad y la originalidad deben incorporarse de forma explícita en los criterios de calificación cuando se espera que tengan importancia. El problema no se limita a detectar si un estudiante usó una herramienta digital, porque el producto final puede parecer convincente y aun así decir poco sobre quién desarrolló el razonamiento que lo sustenta.

El estudio también plantea una advertencia para los sistemas educativos que confunden pulido con dominio. Las evaluaciones actuales suelen medir estructura, integridad y calidad de presentación, pero no siempre comprueban cuánto comprende el alumno o qué puede hacer cuando desaparece la asistencia tecnológica; esa brecha facilita que la inteligencia artificial funcione como sustituto del trabajo intelectual.

El experimento no comprobó la retención del conocimiento

La principal limitación fue la ausencia de una prueba posterior en la que los estudiantes tuvieran que demostrar, sin ChatGPT, qué habían entendido y retenido. Por esa razón, los resultados prueban una mejora del desempeño calificado en una tarea concreta, pero no una mejora del aprendizaje, una diferencia que los propios autores reconocieron de manera explícita.

El alcance del experimento también fue acotado por su contexto: participaron estudiantes de primer curso de una sola universidad y todos trabajaron en una tarea breve de marketing. Además, la aleatorización se realizó entre 13 secciones de clase, en lugar de asignar individualmente a cada uno de los 1.053 participantes, un diseño que puede limitar la forma de generalizar los resultados a otros cursos, instituciones o disciplinas.

Los calificadores humanos que otorgaron la puntuación principal no conocían el grupo al que pertenecía cada texto, una medida destinada a reducir sesgos en la evaluación. Otras métricas, incluidas las relacionadas con razonamiento causal y diversidad de ideas, se analizaron mediante modelos de OpenAI y Anthropic, un aspecto que debe considerarse al interpretar mediciones automatizadas de calidad conceptual.

OpenAI proporcionó la tecnología estudiada y participó en la investigación, mientras que varios autores trabajan o trabajaron en esa empresa durante el estudio. Ese vínculo no invalida por sí mismo los resultados, pero refuerza la necesidad de replicar el experimento con evaluadores, herramientas y diseños independientes antes de extraer conclusiones amplias sobre el efecto educativo de GPT-4o.

Otros estudios advierten sobre lo que queda sin IA

La evidencia citada en el análisis apunta a que la pregunta decisiva no es simplemente si los estudiantes utilizan inteligencia artificial, sino si la herramienta apoya su propio pensamiento o lo reemplaza. Cuando el modelo entrega respuestas directas y reduce la participación intelectual del alumno, otros estudios han encontrado que el rendimiento puede caer después de retirar el acceso a la asistencia.

Una investigación que examinó más de 500.000 calificaciones universitarias en Estados Unidos observó que las notas más altas posteriores al lanzamiento de ChatGPT aumentaron con mayor intensidad en cursos centrados en escritura y programación, donde las tareas para casa tienen un peso importante. Ese patrón puede reflejar una mejora genuina en la producción de trabajos, pero también muestra que la calificación de actividades realizadas fuera del aula se volvió más difícil de interpretar.

Otro conjunto de experimentos controlados encontró que, una vez retirada la IA, los participantes rindieron peor que un grupo de control, con una caída más pronunciada entre quienes habían usado principalmente GPT para obtener respuestas directas. La comparación sugiere que el modo de uso importa tanto como el acceso, porque una herramienta que resuelve el problema puede producir una ventaja inmediata y dejar una debilidad posterior.

Un estudio de 30 meses con más de 26.000 estudiantes en China describió una tendencia similar durante un período más prolongado: las tareas para casa mejoraron y se completaron con mayor rapidez cuando los alumnos usaron IA, pero las calificaciones de los exámenes descendieron. Los resultados reportados en esa investigación apuntan a una mejora de aproximadamente 18% en las tareas y una caída cercana al 20% en los exámenes, aunque sus conclusiones corresponden a ese contexto específico y no pueden trasladarse automáticamente a todas las universidades.

La educación enfrenta una revisión de sus incentivos

Frente a estos resultados, OpenAI presentó el caso principalmente como un desafío para los sistemas de calificación. Si una herramienta puede producir trabajos pulidos, coherentes y similares a los de un experto, el texto entregado ya no basta para determinar cuánto entiende el estudiante ni cuánto esfuerzo intelectual destinó a construir la respuesta.

Los autores defendieron recompensar trabajos que reflejen originalidad, razonamiento y consideración de múltiples enfoques, en lugar de premiar únicamente las respuestas más convencionales o pulidas. La propuesta cambia el centro de la evaluación: ya no bastaría con juzgar el resultado final, sino que también habría que observar la calidad de las preguntas, los supuestos, la evidencia y las decisiones que condujeron a ese resultado.

Sin embargo, modificar las rúbricas plantea dificultades prácticas para docentes y universidades. Medir originalidad, falsabilidad o comprensión exige más tiempo, criterios transparentes y posiblemente evaluaciones presenciales o seguimientos sin herramientas digitales, elementos que no se resuelven con un detector automático ni con una prohibición general de los modelos de lenguaje.

El experimento de Bocconi deja así una conclusión doble: GPT-4o puede elevar de forma visible la calidad que una rúbrica tradicional reconoce, pero la educación todavía no tiene una respuesta definitiva sobre el aprendizaje que queda después de apagar la herramienta. Mientras las instituciones deciden qué deben premiar, la brecha entre una buena calificación y una comprensión auténtica seguirá siendo uno de los problemas centrales de la era de la inteligencia artificial.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados