Por Canuto  

Un estudio del MIT revela que la asistencia de IA médica mejora el diagnóstico en novatos pero también los hace más vulnerables a errores, mientras que los médicos expertos detectan las fallas. La clave está en cómo se presentan las explicaciones.
***

  • Novatos dependen en exceso de las explicaciones de IA, incluso cuando son erróneas.
  • Los médicos expertos se benefician más cuando solo ven la predicción sin explicaciones.
  • El diseño de sistemas de IA debe considerar la experiencia del usuario para evitar el sesgo de automatización.

Durante años, la inteligencia artificial ha sido presentada como una herramienta capaz de revolucionar el diagnóstico médico. Sin embargo, un nuevo estudio del MIT y otras instituciones revela que sus beneficios dependen críticamente de quién la use. Los resultados, publicados en Nature Medicine, muestran que los no expertos tienden a confiar ciegamente en las explicaciones generadas por IA, mientras que los médicos detectan los errores. Esta diferencia subraya la importancia de diseñar sistemas de IA que se adapten al nivel de conocimiento del usuario.

El estudio: asistencia IA en dermatología

El equipo de investigación, liderado por Marzyeh Ghassemi, profesora asociada del MIT en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación, y con la participación de expertos de Stanford y Columbia, evaluó cómo los médicos y los no expertos utilizan la IA explicable para diagnosticar enfermedades de la piel. Publicaron sus hallazgos en la revista Nature Medicine, bajo el título Divergent impacts of explainable AI for dermatological diagnosis on clinicians versus lay people.

Los investigadores probaron diferentes métodos de explicabilidad en un grupo de no expertos y en proveedores de atención primaria. Las tareas consistían en decidir si un lunar era canceroso (para los no expertos) o en dar un diagnóstico diferencial de una enfermedad dermatológica (para los médicos).

Los métodos incluían: una predicción de IA con nivel de confianza sin explicación, un enfoque que presentaba imágenes similares, un mapa de calor que resaltaba regiones importantes, y un modelo de lenguaje grande (LLM) que explicaba el razonamiento en lenguaje sencillo.

Los resultados mostraron que la precisión diagnóstica de los no expertos mejoró cuando recibían asistencia de IA, pero principalmente porque dependían más del sistema. En contraste, los médicos no se dejaban engañar por la asistencia incorrecta y se desempeñaban mejor cuando solo se les daba la predicción sin explicación.

Según Ghassemi, la deferencia algorítmica puede conducir a más errores, y tanto la IA como los métodos de explicabilidad pueden activar el sesgo de automatización. “Los buenos sistemas de IA pueden mejorar el rendimiento en algunos entornos de salud, pero esto debe equilibrarse cuidadosamente”, dijo.

La deferencia algorítmica y sus riesgos

Los investigadores encontraron que los no expertos confiaban en las explicaciones basadas en LLM tanto si eran correctas como incorrectas. En particular, cuando el LLM daba una explicación vaga o genérica, los usuarios la encontraban más convincente y aumentaba su confianza en la respuesta incorrecta.

Por otro lado, los médicos eran resilientes a las explicaciones incorrectas y su precisión mejoraba más cuando se les presentaba solo la predicción del modelo. “Un médico ya tiene un diagnóstico en mente y verifica la IA contra su propia formación, por lo que una explicación mala se detecta”, dijo Orson Xu, autor principal y profesor asistente en la Universidad de Columbia.

Mientras tanto, un no experto puede usar esa misma explicación para formarse una opinión en primer lugar, y una justificación plausible y de tono seguro puede arrastrarlo hacia la respuesta incorrecta. “La misma herramienta termina siendo un activo para un usuario y una responsabilidad para otro”, añadió Xu.

El estudio también reveló que el momento en que se presentan las explicaciones influye en el comportamiento. Si se da una explicación antes de que el usuario pueda realizar el diagnóstico por su cuenta, se vuelven más deferentes al modelo. Además, los sistemas de IA superaron a los humanos cuando la presentación de la enfermedad era sutil, pero los humanos se desempeñaron mucho mejor si había síntomas atípicos o características no relacionadas.

Estos hallazgos subrayan que la IA explicable puede causar una dependencia excesiva y llevar a los usuarios a seguir ciegamente las recomendaciones incluso cuando son incorrectas. Según los autores, es fundamental diseñar sistemas que fomenten el pensamiento crítico en lugar de una confianza ciega.

Implicaciones para el diseño de sistemas de IA en salud

Los investigadores destacan que es esencial construir sistemas de IA pensando en los usuarios finales. “No podemos simplemente asumir que una buena IA resolverá todos los problemas”, dijo Ghassemi. “Necesitamos prestar atención cuidadosa a los usuarios que utilizarán el sistema de IA, porque la misma explicación puede ayudar a un experto y desviar a un principiante”.

En lugar de usar LLM para generar explicaciones más detalladas, podría ser más efectivo obligar a los usuarios a dar una hipótesis diagnóstica primero, y luego proporcionar una sugerencia basada en IA para resaltar otras posibles condiciones. “Realmente queremos que la IA mejore la creatividad y llene los vacíos donde los usuarios se pierden”, dijo Ghassemi.

El estudio también encontró que cuando emplearon un modelo restringido por equidad para combatir el sesgo contra los tonos de piel más oscuros, el sistema mejoró significativamente la precisión y redujo las disparidades diagnósticas basadas en el tono de piel. Esto indica que es posible diseñar IA que sea tanto precisa como justa.

Los autores concluyen que, aunque la IA puede ser una herramienta valiosa en la atención médica, su impacto no es uniforme. La experticia del usuario determina si la asistencia se convierte en un aliado o un enemigo silencioso.

La investigación fue financiada, en parte, por la Fundación Nacional de Ciencias, Schmidt Sciences, la Oficina Nacional de Investigación Económica y la Universidad de Columbia. Estos resultados ofrecen una guía para desarrollar sistemas de IA que realmente beneficien a todos los pacientes y profesionales.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados