Por Canuto  

Un estudio de Harvard examinó el efecto de varias actualizaciones de Claude en contribuciones públicas de GitHub y no encontró mejoras significativas en el trabajo completado, pese al avance de los modelos en pruebas de programación.
***

  • El acceso a Claude Fable 5 se asoció con un aumento estimado de 1,4 puntos porcentuales en la tasa de fusiones, pero la diferencia no fue estadísticamente significativa.
  • El análisis de cinco actualizaciones no detectó mejoras significativas en cambios de código aceptados ni en la cantidad de contribuciones completadas por semana.
  • Los autores plantean que muchas tareas asignadas por desarrolladores quizá ya estén dentro de las capacidades de modelos anteriores.


Las mejoras de Claude en pruebas de programación no elevaron la productividad en GitHub

Un estudio de la Universidad de Harvard sobre contribuciones públicas a GitHub encontró que el acceso a Claude Fable 5 se asoció con un aumento estimado de 1,4 puntos porcentuales en la proporción de cambios de código aceptados. La diferencia no alcanzó significancia estadística, pese a que el modelo había superado por casi 11 puntos a Opus 4.8 en el benchmark SWE-Bench Pro.

El análisis también examinó cinco actualizaciones de Claude durante 2026 y no identificó mejoras significativas en la tasa de fusiones ni en el número de cambios aceptados por semana. El resultado plantea una pregunta relevante para empresas y usuarios: hasta qué punto una puntuación más alta en pruebas técnicas anticipa que un modelo ayudará a terminar más trabajo en condiciones reales.

Una interrupción inusual permitió comparar modelos

La investigación aprovechó una suspensión del acceso a Claude Fable 5 para comparar periodos anteriores, durante la interrupción y posteriores a la reanudación. GitHub informó que el acceso al modelo quedó suspendido en todas las experiencias de Copilot a partir del 9 de junio de 2026. Anthropic atribuyó la suspensión a una directiva de control de exportaciones emitida por el Gobierno de Estados Unidos, según su comunicado sobre el acceso a Fable 5 y Mythos. La cronología del estudio sitúa la reanudación del acceso el 1 de julio.

Los investigadores siguieron a 297 personas identificadas como usuarias de Fable 5 y compararon sus contribuciones con las de 8.908 desarrolladores que usaban Opus 4.8 y no tenían uso registrado del modelo más reciente. Esa comparación buscó distinguir los cambios asociados con la suspensión de las variaciones generales en la actividad de GitHub, en lugar de atribuir cualquier fluctuación automáticamente a una actualización de IA.

La comparación situó la suspensión del acceso a partir del 9 de junio y examinó los periodos anterior, durante la interrupción y posterior a la reanudación. Para estimar su efecto, el análisis comparó las variaciones en las tasas de fusión de ambos grupos y tuvo en cuenta diferencias entre desarrolladores y fluctuaciones diarias.

Ese diseño depende de una premisa importante: sin la suspensión, los dos grupos habrían registrado tendencias similares en sus tasas de fusión. La comparación no elimina todas las limitaciones de un estudio observacional, pero la interrupción ofreció una oportunidad poco común para seguir a usuarios antes y después de perder temporalmente el acceso a un modelo específico.

Qué midieron los investigadores en GitHub

La métrica central fue la proporción de cambios de código enviados que se fusionaron en proyectos de GitHub dentro de siete días. Una fusión indica que el proyecto incorporó una contribución, pero no representa por sí sola toda la productividad de un desarrollador ni permite medir cada fase del trabajo que llevó a producirla.

El estudio añadió comprobaciones sobre solicitudes de cambios fusionadas dentro de una hora, contribuciones cerradas sin fusionar, comentarios recibidos, cambios revertidos posteriormente y fallos en verificaciones automatizadas. Esas medidas complementarias permitieron revisar distintos resultados asociados con la calidad y aceptación del código, aunque ninguna constituye una medida completa de la labor profesional de quienes programan.

Para identificar las contribuciones realizadas con Claude Code, los autores buscaron solicitudes públicas en GitHub que incluían el aviso automático Generated with Claude Code. En algunos casos, también pudieron determinar la versión del modelo porque los desarrolladores habían copiado su nombre desde el historial de confirmaciones a la descripción de la solicitud.

El conjunto de datos reunió solicitudes creadas entre noviembre de 2025 y octubre de 2026, y dejó al menos cuatro semanas para que las contribuciones más recientes pudieran fusionarse. El artículo advierte que una parte importante de los cambios de código en estudios anteriores se concentraba en pocos proyectos, cuyas reglas particulares de aceptación pueden distorsionar las comparaciones entre modelos.

La diferencia de 1,4 puntos no fue significativa

Durante el periodo en que Fable 5 estuvo disponible, la proporción de cambios aceptados dentro de siete días aumentó 1,4 puntos porcentuales en comparación con el periodo de referencia. Sin embargo, el estudio calificó esa diferencia como no estadísticamente significativa, por lo que sus resultados no permiten concluir que el acceso al modelo haya causado una mejora fiable en las fusiones.

El equipo tampoco encontró que los usuarios lograran fusionar más solicitudes de cambios por semana cuando disponían de Fable 5. Esta distinción importa porque una tasa de aceptación puede cambiar sin que aumente el volumen de trabajo completado, y el análisis no detectó una diferencia clara en esa segunda medida.

La investigación amplió después la mirada a cinco de las ocho actualizaciones de Claude registradas en 2026. En conjunto, ese análisis abarcó a 1.208 desarrolladores y más de 15.000 cambios de código propuestos, sin encontrar una mejora estadísticamente significativa en la proporción de contribuciones que terminaron aceptadas.

La estimación para la tasa de aceptación incluso mostró una caída de alrededor de 0,9 puntos porcentuales, mientras que los desarrolladores que empleaban modelos más nuevos completaron un 2,4% más de cambios aceptados por semana. El artículo considera demasiado pequeña esa diferencia para establecer una mejora fiable, y señala que las tasas de fallos en verificaciones automatizadas permanecieron esencialmente sin cambios.

Por qué una mejor puntuación puede no traducirse en más trabajo

En SWE-Bench Pro, Fable 5 obtuvo una puntuación casi 11 puntos superior a la de Opus 4.8, y el análisis de las actualizaciones encontró avances de entre 5 y 18 puntos en distintos benchmarks. Aun así, esas diferencias no se reflejaron en aumentos significativos de las contribuciones aceptadas en GitHub, según los resultados presentados.

Una explicación propuesta por los autores es que las tareas que los desarrolladores entregan a los agentes de programación ya podrían estar dentro de las capacidades de modelos anteriores. Si una versión menos avanzada resuelve suficientemente bien las tareas habituales, una mejora en pruebas especializadas no necesariamente modifica el ritmo de trabajo en proyectos reales.

Los investigadores también señalan que comparar usuarios de diferentes modelos puede confundir la capacidad de la herramienta con la experiencia de quienes la eligen. Quienes adoptan primero una versión nueva podrían tener más conocimientos, mientras que incluso al seguir a una misma persona resulta difícil saber si asignó tareas equivalentes a cada modelo o reservó los encargos más complejos para el más potente.

La dificultad para comparar tareas también puede alterar la lectura de los resultados: un modelo usado en problemas más difíciles podría parecer menos productivo, porque esos encargos tardan más y tienen menos probabilidades de ser aceptados. Por eso, el estudio presenta las fusiones como una medida imperfecta y advierte que los benchmarks solo resultan útiles si reflejan las labores para las que empresas y desarrolladores quieren emplear un sistema.

Una advertencia sobre el valor de los benchmarks

Los resultados no demuestran que todos los modelos nuevos carezcan de valor ni que las pruebas de programación sean inútiles. Lo que muestran es que, en estas medidas y en los datos examinados, el avance en puntuaciones no vino acompañado de un aumento estadísticamente significativo del trabajo aceptado en GitHub.

El artículo también plantea un problema más amplio para la evaluación de sistemas de IA: las pruebas pueden perder utilidad si sus ejemplos terminan incorporados en los datos de entrenamiento de modelos posteriores. En ese escenario, obtener una puntuación alta podría reflejar familiaridad con el benchmark y no necesariamente una mayor capacidad para resolver tareas nuevas en el trabajo cotidiano.

La referencia al reto visual de representar un pelícano montando una bicicleta ilustra esa preocupación, aunque no forma parte de la medición de productividad de programación. El artículo señala que la mejora de los modelos en esa tarea podría relacionarse con que el desafío ya aparece en sus datos de entrenamiento, lo que comprometería su uso como prueba independiente.

Para compradores, reguladores y equipos técnicos, la conclusión práctica es evaluar si una prueba mide las tareas concretas que necesitan resolver, además de revisar sus resultados en benchmarks. El estudio aporta evidencia de GitHub sobre un episodio excepcional, pero deja abierta la necesidad de medir con más precisión qué trabajo hacen los modelos y en qué condiciones una actualización cambia de verdad los resultados.


Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín