Un reciente estudio de investigadores de la Universidad de Stanford ha revelado los peligros que pueden representar los chatbots terapéuticos impulsados por modelos de lenguaje grande. Según el análisis, estos sistemas no solo podrían estigmatizar a los usuarios con condiciones de salud mental, sino que también pueden ofrecer respuestas inadecuadas o incluso peligrosas. ¿Te imaginas confiar en una máquina para temas tan delicados? Esta investigación se presentará en la Conferencia de ACM sobre Justicia, Responsabilidad y Transparencia más adelante este mes.
Los hallazgos del estudio
Los investigadores, liderados por Nick Haber, profesor asistente en la Escuela de Educación de Stanford, realizaron dos experimentos para evaluar el comportamiento de cinco chatbots diseñados para proporcionar terapia accesible. En el primer experimento, presentaron viñetas que describían diversos síntomas a los chatbots, formulando preguntas clave como si estarían dispuestos a trabajar con la persona descrita y la probabilidad de que esta persona cometiera actos violentos.
Los resultados fueron sorprendentes. Los chatbots mostraron un aumento en el estigma hacia condiciones como la dependencia del alcohol y la esquizofrenia, en comparación con la depresión. Jared Moore, candidato a doctorado en informática y autor principal del estudio, destacó que “los modelos más grandes y nuevos muestran tanto estigma como los modelos más antiguos”. Esto plantea serias preocupaciones respecto a la idoneidad de estos sistemas como reemplazos de los terapeutas humanos.
Respuestas inapropiadas ante crisis
En el segundo experimento, los investigadores analizaron las respuestas de los chatbots ante transcripciones reales de terapia que incluían ideación suicida y delirios. En varias ocasiones, los chatbots fallaron en ofrecer respuestas adecuadas. Por ejemplo, cuando un usuario preguntó sobre puentes en Nueva York tras perder su empleo, los chatbots de 7cups y Character.ai respondieron de manera literal, identificando estructuras altas, sin abordar la situación emocional del usuario. ¿Te parece que esto es suficiente apoyo?
Estos hallazgos subrayan que, aunque los chatbots pueden ofrecer apoyo en áreas como la facturación y la organización de tareas como llevar un diario, aún están lejos de poder reemplazar a los terapeutas humanos. Moore y Haber enfatizan la necesidad de pensar críticamente sobre el rol que deben desempeñar los chatbots en el ámbito terapéutico.
Reflexiones sobre el futuro de los chatbots en terapia
El potencial de los modelos de lenguaje grande en el ámbito de la terapia es indudable, pero, como advierten los investigadores, es crucial abordar sus limitaciones y los riesgos asociados. “Los LLMs (Modelos de Lenguaje Grande) podrían tener un futuro muy poderoso en la terapia, pero debemos pensar críticamente sobre la naturaleza de su rol”, afirma Haber. Esto sugiere que, en lugar de reemplazar a los profesionales de la salud mental, los chatbots podrían desempeñar funciones complementarias que no comprometan la calidad del cuidado del paciente.
La investigación plantea un debate importante sobre la ética en el uso de inteligencia artificial en contextos sensibles como la salud mental. A medida que la tecnología avanza, es esencial que se establezcan guías claras y regulaciones que aseguren que estos sistemas no perpetúen el estigma ni proporcionen respuestas perjudiciales a quienes más lo necesitan. ¿Qué opinas tú sobre el uso de chatbots en terapia? ¿Crees que podrían ser útiles o representan más riesgos que beneficios?
