¿El futuro del diagnóstico? IA aprueba examen de medicina

¿Confiarías en que un chatbot fuera tu médico? El de Google se llama Med-PaLM, y su nivel de lenguaje extenso ha mostrado un conocimiento clínico tal, que es capaz de aprobar un examen especializado, que certifica que los especialistas están capacitados para ejercer la medicina en Estados Unidos.

Actualmente, la gente entra a dicho buscador para obtener respuestas, acción que se ha vuelto tan común, que incluso ha ingresado al lenguaje habitual y se conoce con el verbo "googlear".

En caso de malestar, para saber qué pueden tener, los internautas reportan sus síntomas en esta plataforma, pero lejos de ayudar, puede generar confusión y ansiedad al arrojar respuestas rápidas y poco certeras. (1)

Sin embargo, con la Inteligencia Artificial (IA) esto podría cambiar. Es la misma empresa Google la que lanzó el chatbot llamado Med-PaLM, un modelo de lenguaje extenso (LLM por sus siglas en inglés) capaz de procesar 540 mil millones de parámetros. (2)

Este chatbot (Med-PaLM) y su variante ajustada por instrucciones, Flan-PaLM2, fueron evaluados por especialistas mediante el MultiMedQA, un modelo se creó para evaluar la calidad de las respuestas humanas a cuestiones complicadas y los resultados fueron publicados en la connotada revista Nature. (3)

¿Qué tan compleja es esta prueba? El conjunto de datos MedQA consta de preguntas del tipo USMLE (US Medical License Exam), 194 mil de opción múltiple de 4 opciones de las pruebas de acceso a la medicina de la India (AIIMS/NEET), mil pares de preguntas-respuesta etiquetadas por expertos en las que la tarea consiste en producir una respuesta de opción múltiple sí/no/tal vez, 674 de preguntas habituales de los consumidores sobre medicamentos y 3,375 preguntas habituales de los consumidores (HealthCareQA). (4)

El USMLE debe ser aprobado en Estados Unidos para aquellos que busquen ejercer profesionalmente la medicina.

De acuerdo con el artículo "Los grandes modelos de lenguaje codifican el conocimiento clínico" publicado en la revista Nature, el resultado que obtuvo el chatbot fue de 67.6 por ciento de respuestas correctas, mientras que para aprobar se requiere un mínimo de 60 por ciento de puntaje. (5)

Las mejores evaluaciones las obtienen los humanos

Pese a haber aprobado, los autores de la investigación acotaron que el puntaje logrado por esta IA aún está por debajo al obtenido por humanos.

"El modelo resultante, Med-PaLM, tiene un desempeño alentador, pero sigue siendo inferior a los médicos. Nuestras evaluaciones humanas revelan las limitaciones de los modelos actuales, lo que refuerza la importancia tanto de los marcos de evaluación como del desarrollo de métodos para crear LLM seguros y útiles para aplicaciones clínicas", señalaron los investigadores en el artículo de Nature. (5)

Med-PaLM es un modelo de lenguaje grande que ha sido entrenado con extensas cantidades de texto producido por humanos o bases de datos, los cuales incluyen conversaciones y análisis de imágenes como radiografías y ecografías. (6)

El sistema fue puesto a prueba en uno de los hospitales más reconocidos del país vecino, Mayo Clinic, en Minnesota, durante un mes y los expertos aseguran en su informe que la tecnología ha dado buenos resultados.

Después de ese periodo de tiempo, el robot repitió la prueba USMLE y logró subir su nivel de aprobación con el 85.4 por ciento de aciertos. Según los desarrolladores del sistema, las respuestas incorrectas se debieron a que incurrían en imprecisiones o aportaban datos irrelevantes.

Si bien, el sistema aún es impreciso, sus creadores lo tratan de encaminar al diagnóstico oportuno y probabilidades de curación en enfermedades como el cáncer colorrectal.

Ante las mejoras en el sistema, la pregunta abierta a todos es: ¿podría la IA sustituir a un médico? La respuesta, según los especialistas, es que no, ya que la atención médica no solo se basa en preguntas y respuestas, sino en el trato con el paciente, la calidez humana, escuchar sus necesidades, etc. (7)

Inclusive, los creadores de la aplicación la han desarrollado como una herramienta para ayudar a los profesionales de salud, no para sustituirlos.

Además de Google, otras empresas se han interesado en desarrollar tecnologías que puedan servir al ámbito médico y a muchos más. Un ejemplo de estos es la IA conocida como ChatGTP, desarrollada por la empresa OpenAI e impulsada por Microsoft. (8)

A diferencia de Med-PaLM, ChatGTP está disponible para público en general y también ha demostrado estudios satisfactorios en el examen USMLE con 60 por ciento de aprobación general.

Referencias

Deja de buscar tus síntomas en Google: 3 claves para reprimir las ganas de hacerlo. La sexta. En línea. Disponible en: https://www.lasexta.com/bienestar/salud/deja-buscar-tus-sintomas-google-3-claves-reprimir-ganas-hacerlo_202210266359053ab370000001244043.html#:~:text=Puede%20generarnos%20m%C3%A1s%20ansiedad.,Internet%20a%20buscar%20es%20dif%C3%ADcil.

Pathways language model (PaLM): Scaling to 540 billion parameters for breakthrough performance. (s/f). Googleblog.com. Recuperado el 1 de agosto de 2023, de https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html

Google introduce MultiMedQA, un “modelo de lenguaje grande” (LLM) para fines médicos, similar a ChatGPT - Gaceta Dental, 30 de diciembre de 2022. Consultado en línea en https://gacetadental.com/2023/01/google-introduce-multimedqa-un-modelo-de-lenguaje-grande-llm-para-fines-medicos-similar-a-chatgpt-40804/

MultiMedQA. Wikipedia contributors. (s/f). MultiMedQA. Wikipedia, The Free Encyclopedia. https://es.wikipedia.org/w/index.php?title=MultiMedQA&oldid=149232764

Singhal, K., Azizi, S., Tu, T., Mahdavi, S. S., Wei, J., Chung, H. W., Scales, N., Tanwani, A., Cole-Lewis, H., Pfohl, S., Payne, P., Seneviratne, M., Gamble, P., Kelly, C., Babiker, A., Schärli, N., Chowdhery, A., Mansfield, P., Demner-Fushman, D., … Natarajan, V. (2023). Large language models encode clinical knowledge. Nature, 1–9. https://doi.org/10.1038/s41586-023-06291-2