Consultar a un chatbot de inteligencia artificial (IA) sobre un tema médico tiene el atractivo de que el “especialista” responde en un tiempo considerablemente menor que el de la cita presencial. Además, para que el paciente gane en seguridad –y si quiere, en conocimiento–, la IA le ofrecerá la bibliografía online en la que ha basado su respuesta, aun cuando, abrumado por tanta información, el interesado muy probablemente ni se tome el trabajo de consultar esas fuentes. “Si hay estudios detrás de esto, voy adelante”, se convencerá.
Algunos, sin embargo, proceden con cierta cautela ante los diagnósticos y consejos de la IA. Le sucedió a una profesora de Iowa, EE.UU., que ofreció días atrás su testimonio al New York Times: tras comenzar a tomar un nuevo medicamento, había presentado síntomas gastrointestinales adversos. Al preguntarle al chatbot, este le había respondido que tales reacciones entraban dentro de la normalidad, según un estudio equis. Solicitado dicho documento a ChatGPT, la conclusión fue que no existía; que no había tal. Por fortuna, la mujer tenía ciertos conocimientos en materia médica, lo que la había llevado a sospechar. De no tenerlos, “¿cómo habría sabido si me estaba diciendo lo correcto?”.
La mitad de las respuestas de cinco chatbots sobre temas de salud fueron clasificadas como “problemáticas”
El problema es bastante común. Lo constata un reciente estudio de título ilustrativo: Chatbots basados en inteligencia artificial generativa y desinformación médica, realizado por profesores del Lundquist Institute, afiliado a la Universidad de California. Los investigadores presentaron 10 preguntas sobre cáncer, vacunas, células madre, nutrición y rendimiento deportivo a cinco chatbots que ya se van haciendo muy conocidos –Gemini, DeepSeek, Meta AI, ChatGPT y Grok–, y se dieron a comparar las respuestas.
Según los expertos, en lo que más puntería mostraron los programas de IA fue en la información que ofrecieron sobre vacunas y cáncer, y en lo que peor estuvieron fue en materia de células madre, rendimiento deportivo y nutrición. La mitad de las respuestas (el 49,6%) fueron clasificadas como “problemáticas”, entendido esto como que la IA concreta podía indicar tratamientos ineficaces o directamente dañinos para el paciente. Un punto más de inquietud lo añade el saber que casi el 20% se clasificaron como “muy problemáticas”.
Cada jueves, lo mejor de Aceprensa en una newsletter gratuita.
En cuanto a la bibliografía que teóricamente apoyaba las respuestas de las IA, hubo una (amarga) sorpresa: “Las citas –señala el texto– son cruciales para respaldar y legitimar las respuestas de un chatbot. Sin embargo, observamos errores frecuentes, invenciones y alucinaciones, lo que llevó a una puntuación media de completitud de referencias del 40% (…). Ningún chatbot produjo una lista de referencias completa y precisa en respuesta a ninguna solicitud”.
Problema: la “dieta” del chatbot
Que la mitad de las respuestas de los chatbots sean problemáticas –y que muchas se las inventen en el aire– solo indica que todavía esta tecnología está en pañales y hay que seguir yendo a ver al médico. Según explica a Aceprensa el Dr. Nicholas B. Tiller, del Reino Unido, quien estuvo al frente de la investigación del Lundquist Institute, el público tiende a pensar que estos chatbots son como oráculos omniscientes, “pero a menos que se les indique específicamente que busquen datos online en tiempo real, no lo harán”. De hecho, añade, algunos ni tienen la capacidad de hacerlo.
Los chatbots aciertan más en el tema de las vacunas y el cáncer porque son áreas de investigación con estudios más sólidos
Los chatbots mencionados “funcionan fundamentalmente entrenándose con vastos conjuntos de datos textuales, y luego aplican algoritmos estadísticos para predecir la palabra o secuencia de palabras más probable en una oración. Por lo tanto, no lo saben todo. De hecho, no saben nada en el sentido humano. No retienen conocimientos. Simplemente predicen la siguiente palabra más probable en respuesta a una pregunta. Así que, cuando la gente hace preguntas, ya sean médicas o relacionadas con la salud, los chatbots siempre responden con mucha seguridad y autoridad, pero no conocen las respuestas. Simplemente hacen una adivinación. Por eso, muchas de las respuestas resultaron problemáticas y una quinta parte del total fueron altamente problemáticas”.
¿Por qué lo fueron menos en temas de cáncer y vacunas? Porque en estos hay más ciencia asentada, no especulaciones. “La hipótesis –dice– es que podría tener algo que ver el hecho de que las vacunas y el cáncer suelen ser áreas de investigación con estudios más sólidos: al ser del ámbito clínico, los ensayos aleatorizados se registran con antelación, lo que mejora la calidad y la solidez del posterior análisis de datos. En cambio, en nutrición y rendimiento deportivo, temas de estudio relativamente más recientes, la investigación es menos sólida y se incorpora más información deficiente a los datos de entrenamiento”.
En opinión del Dr. Luis Echarte, quien ha impartido docencia en el Máster de Inteligencia Artificial de la Universidad de Navarra, en los últimos campos mencionados y en el de las células madre “conviven investigación seria, medicina regenerativa todavía en desarrollo, publicidad de clínicas dudosas, suplementos, dietas milagro, anécdotas personales y discursos de alto impacto emocional. El chatbot puede tener dificultades para distinguir entre evidencia robusta, hipótesis prometedoras, exageración comercial y pura desinformación”.
El problema sería, pues, la “dieta” de estos programas. “Recordemos esto –concluye en esta parte el Dr. Tiller–: los chatbots no solo acceden a artículos científicos o libros, sino a publicaciones de blogs y a foros de preguntas y respuestas, como Reddit. Por ejemplo, para entrenarse, Grok obtiene datos incluso de lo que hay en redes sociales como X. En el caso de las vacunas y el cáncer, por el contrario, pudiera ser que simplemente cuenten con un flujo de información más completo y menos sesgado. Es una suposición, pero creemos que podría tener algo que ver”.
Para mayor acierto, mejores preguntas
¿Qué necesitaría un chatbot para dar respuestas más certeras al “valorar” una consulta sobre salud? El Dr. Echarte señala que, en principio, debería nutrirse de fuentes clínicas verificadas y actualizadas, y, además, distinguir niveles de evidencia, preguntar más cuando la información de que dispone es insuficiente, reconocer explícitamente la incertidumbre ante una situación concreta, estar abierto a la supervisión profesional y tener mecanismos claros que permitan derivar al paciente al médico cuando sea necesario.
“Añadiría algo más –señala–: un buen chatbot sanitario no debería estar diseñado solo para ‘dar respuestas’, sino para formular mejor la pregunta del paciente y conducirlo hacia la relación clínica adecuada. Como he dicho, su éxito no debería medirse solo por cuántas veces acierta en una respuesta, sino por si mejora la calidad de la relación médico-paciente”.
“Un modelo generativo puede recibir datos objetivos e integrarlos en una respuesta que suena verosímil, pero que clínicamente resulta inadecuada” (Dr. Echarte)
Coincide en ello en el especialista británico: “Si el interesado valora la precisión en la respuesta, le aconsejaría no usar un chatbot. En todo caso, lo que sí puede hacer es asegurarse de formular las preguntas de la manera más neutral posible. En lugar de preguntar, por ejemplo, cuáles son los beneficios de los suplementos dietéticos, podría indagar sobre cuál es la evidencia de sus beneficios y riesgos. Así, la pregunta será más objetiva, sin que uno se incline hacia un resultado concreto. Se puede formular la interrogante con mucha claridad y pensar detenidamente en lo que se quiere de la IA: que proporcione un resumen de la evidencia, o que ofrezca recomendaciones, o que resuma una información. Hay que ser muy específico en lo que se le pide que haga”.
En todo caso, la cuestión no radica –al menos en medicina–únicamente en estar pendiente de los aciertos y desaciertos de una IA, a partir de la información con que se ha nutrido. “No se trata solo de que al chatbot le falten datos, o de que maneje información falsa –apunta el Dr. Echarte–. El problema es más profundo: un modelo generativo puede recibir datos objetivos y, aun así, interpretarlos mal, jerarquizarlos mal o integrarlos en una respuesta que suena verosímil pero que clínicamente resulta inadecuada”.
Según dice, más allá de disponer de buena información –que es crucial–, es importante conocer la relevancia de esta en un contexto concreto. “Un síntoma, un resultado analítico o una recomendación preventiva no significan lo mismo según la edad del paciente, sus antecedentes, la evolución temporal, la presencia de signos de alarma, los tratamientos concomitantes o la probabilidad previa de enfermedad. Así, pues, el médico no solo ‘responde’, sino que pregunta, sospecha, descarta, espera cuando conviene, y sabe cuándo la incertidumbre debe conducir a una exploración presencial”.
No: el chatbot no empatiza contigo
Para actuar según las pautas mencionadas, a la IA le queda aún un buen trecho. Un trecho, quizás, insalvable para un robot. Le falta lo que llamaríamos sexto sentido, intuición, y la experiencia personal y profesional del observador humano. El peligro, sin embargo, es que, dada la “cercanía afectiva” que muestra el chatbot y su lenguaje cada vez menos robotizado, el paciente se convenza falsamente de que no: de que el programa no tiene carencia alguna, y termine “humanizándolo”.
“Los chatbots conversacionales no ofrecen únicamente información: simulan escucha, disponibilidad, paciencia, empatía y acompañamiento –subraya el Dr. Echarte–. Responden con un tono humano, aparentemente recuerdan lo dicho, adaptan el lenguaje al estado emocional del usuario y producen la impresión de que ‘comprenden’ lo que se les está confiando. Pero esa comprensión es solo funcional, simulada. No hay allí una verdadera presencia, ni una responsabilidad clínica personal, ni una experiencia compartida de vulnerabilidad. Tampoco hay un cuerpo que perciba, una biografía que sostenga el juicio, una conciencia moral que responda ante el sufrimiento del otro”.
El riesgo de olvidarlo es que, tras contarle su vida y milagros al “amable y siempre disponible Dr. IA”, el paciente abandone el itinerario normal de concertar una consulta presencial, someterse a pruebas diagnósticas, permitir que el médico valore y descarte hipótesis, seguir el tratamiento indicado por este…, y que, en lugar de eso, termine quitando hierro a los síntomas, o exagere sus efectos, o se automedique, o rechace determinadas pruebas porque “para qué, si ya sé lo que tengo”.
Para evitar estas percepciones erróneas, se precisa, sencillamente, educación. “Al público le corresponde formarse mejor –concluye el Dr. Tiller–. Ya hemos perdido el barco con las redes sociales. La mayoría de las personas que usan las redes no entienden cómo funcionan esos sistemas ni cómo generan contenido. Ahora es lo mismo con los chatbots de IA, que se han convertido en cajas negras. Hay que enterarse de para qué fueron diseñados y conocer sus fortalezas y limitaciones, para poder usarlos de modo seguro y eficaz”.
5 Comentarios
Muy interesante e inquietante. El problema de la IA no como herramienta o asistente para el experto sino como reemplazo, más allá del problema para el reemplazado, el riesgo del cambio para el usuario.
Efectivamente hay desconocimiento de cómo funciona por debajo, no una carencia educativa sino un problema de complejidad: en ocasiones son algoritmos matemáticos muy, muy complejos (sospecho q incluso a investigadores matemáticos de élite les puede costar seguir trabajos especializados en campos lejanos al suyo o no tardará en suceder al ritmo q vamos).
Los algoritmos no tienen nada q ver con cómo funciona el cerebro de una persona q emite un juicio, más allá del encadenamiento neuronal
Estos algoritmos van a mejorar igual que el uso de RAG (obtener información de fuera en lugar de la memoria del modelo, lo q baja mucho las alucinaciones) mejorarán espectacularmente, ya no podremos advertir con estadísticas tan reveladoras como las del artículo y sin embargo seguirá habiendo un porcentaje fatal, q ya no nos alarmará tanto e incluso se relativizará al contrastarlo con error juicio humano, cuando es una dicotomía innecesaria si la IA asiste al experto, no al profano.
Excelente análisis; quizás agregar de que los médicos de carne y hueso tienen el desafío de atender menos pacientes/hora para poder dedicar sin apuros, el tiempo necesario a cada uno de ellos.
Interesantísima reflexión. Enhorabuena