Beware of Dr. Chatbot: Generative AI Often Gives Unreliable, Biased Medical Advice

SAN FRANCISCO – 3 de noviembre de 2023 – Un grupo de oftalmólogos evaluó la utilidad de los programas de inteligencia artificial (IA) generativa más populares (ChatGPT, Google Bard y Bing Chat) como recurso educativo para pacientes con afecciones y enfermedades oculares. Descubrieron que la mayoría de las respuestas de las tres herramientas eran inexactas y que dos de los tres chatbots demostraban un sesgo significativo contra las oftalmólogas. Los autores advierten que estos modelos no están ajustados para proporcionar información precisa sobre la salud ocular. Temen que las imprecisiones puedan retrasar aún más el tratamiento, poniendo a sus pacientes en mayor riesgo de pérdida de visión. El estudio se presentará esta semana en la AAO 2023, la 127.ª ^reunión  anual de la  Academia Estadounidense de Oftalmología .

Investigadores de la Universidad del Sur de California pidieron a tres oftalmólogos en ejercicio que compararan la capacidad de estos programas para responder preguntas comunes de los pacientes y crear recursos educativos, además de recomendar oftalmólogos que ejercen en las 20 ciudades más grandes de los Estados Unidos. El oftalmólogo evaluó la información en una escala del 1 al 4.

Google Bard obtuvo la puntuación más alta en calidad y precisión de las respuestas a las preguntas de los pacientes, con una calificación promedio de 2,3 sobre 4. ChatGPT obtuvo la calificación más alta en recursos educativos para pacientes, 3 sobre 4.

Los tres chatbots tuvieron problemas cuando se les pidió que recomendaran oftalmólogos en ejercicio o que localizaran con precisión a los oftalmólogos en o cerca de una ciudad específica. Google Bard y Bing Chat recomendaron oftalmólogos mujeres menos del 2 por ciento de las veces, a pesar de que el 27 por ciento de los oftalmólogos del país son mujeres.

“Dado el importante sesgo e inexactitud demostrados en este estudio, advertimos contra la dependencia de chatbots de IA cuando se busca información relacionada con la salud hasta que se logren y validen mejoras en los algoritmos en el futuro”, dijo el investigador Michael Oca, Licenciado en Licenciatura de la Universidad de California. San Diego. “Una mala recomendación de un chatbot podría retrasar aún más el tratamiento de un paciente”.

Para obtener información en línea precisa y revisada por oftalmólogos, la Academia ofrece www.EyeSmart.org como recurso público.

“Confiar en herramientas en línea para obtener asesoramiento rápido puede resultar tentador, pero instamos al público a recordar que esto no reemplaza un examen ocular completo con un oftalmólogo. Consultar a un médico para realizar exámenes preventivos y examinar cualquier cambio repentino en la visión es la mejor manera de proteger la salud ocular”, dijo el autor principal Sandy Zhang-Nunes, MD, profesor asociado de oftalmología clínica y director de cirugía plástica oculofacial de la Universidad. del Sur de California.

Acerca de la Academia Estadounidense de Oftalmología

La Academia Estadounidense de Oftalmología es la asociación de oftalmólogos y cirujanos más grande del mundo. Como comunidad global de 32.000 médicos, protegemos la vista y empoderamos vidas estableciendo estándares para la educación oftálmica y defendiendo a nuestros pacientes y al público. Innovamos y apoyamos la investigación para avanzar en nuestra profesión y garantizar la prestación de atención oftalmológica de la más alta calidad. Nuestro programa EyeSmart® brinda al público la información más confiable sobre la salud ocular. Para obtener más información, visite aao.org.