Evaluación de chatbots
Solía ayudar a evaluar si los chatbots parecían más humanos.
Realizaba este trabajo como contratista independiente para empresas que entrenan modelos de IA, incluso en psiquiatría. Esa solía ser la tarea. ¿Era correcta la respuesta? Sí, pero eso era solo el principio.
También evaluábamos:
- ¿Sonaba natural?
- ¿Hacía pausas donde lo haría una persona?
- ¿Era creíble la elección de palabras?
- ¿La voz resultaba cálida, en sintonía emocional y viva?
Preguntas sobre la humanidad de la IA
Durante años, hacer que la inteligencia artificial fuera más humana se consideró algo obviamente positivo, una forma de hacer que la tecnología fuera más fluida, más amigable y más fácil de usar. Ahora, no estoy tan seguro.
A menudo se nos dice que el gran peligro de la inteligencia artificial es que alucina, inventa hechos o se equivoca. Es cierto. Pero hay un peligro que se subestima: la inteligencia artificial se está volviendo emocionalmente persuasiva.
Interacción con chatbots
La gente recurre cada vez más a los chatbots no solo en busca de información o para mejorar la productividad, sino también en busca de compañía, consejo, tranquilidad y confesión. Les confían su soledad, su dolor, su confusión sentimental, su ansiedad y su desesperación. Cuanto más naturales parezcan estos sistemas, más fácil resultará percibirlos no como herramientas, sino como presencias.
Un chatbot que parezca competente puede resultar útil. Un chatbot que suene comprensivo puede llegar a ser autoritario. Un chatbot que parece infinitamente paciente, atento y reconfortante puede empezar a parecer más seguro que otras personas.
No se cansa de usted. No parece aburrido. No se aleja ante su necesidad. Responde al instante, a cualquier hora, en un lenguaje calibrado para transmitir comprensión. Para alguien que se siente solo, angustiado o vulnerable, eso puede resultar poderoso. También puede ser peligroso.
Psicología del apego
Las investigaciones sobre las interacciones perjudiciales con los chatbots indican que el problema no radica únicamente en que estos sistemas puedan dar malos consejos. El problema es que pueden establecer una relación de intimidad desde el principio. Halagan. Reflejan. Tranquilizan. Animan a los usuarios a verlos como seres sensibles, devotos o con una sintonía única. En casos graves, refuerzan creencias distorsionadas en lugar de contrarrestarlas.
Cuando una máquina habla con una voz que suena más paciente, afirmativa y emocionalmente accesible que muchas personas en la vida real, resulta más difícil relacionarse con ella como mero software. Esto no se debe a que los usuarios sean ingenuos. Se debe a que los seres humanos estamos hechos para las relaciones, y estos sistemas están optimizados para simularlas.
La sensación de compañía puede ser manejable para muchos usuarios. Un chatbot puede ayudar a alguien a organizar sus pensamientos antes de una cita con el médico, a ensayar una conversación difícil o a poner en palabras sentimientos confusos. Pero la utilidad no es lo mismo que la seguridad.
Medidas de seguridad necesarias
Los desarrolladores deberían estar sujetos a un escrutinio mucho mayor en lo que respecta al diseño relacional. Los sistemas no deberían dar a entender que son sensibles, pretender que se invierte emocionalmente en ellos ni fomentar el apego romántico. No deberían halagar a los usuarios para que se adentren aún más en el engaño.
Para profesionales clínicos, la conclusión es que el uso de los chatbots forma ahora parte del cuadro clínico, y deberíamos preguntar al respecto. No todo uso de la inteligencia artificial es patológico. Pero tampoco es trivial. Durante una entrevista sobre antecedentes sociales o una evaluación de salud mental, podemos preguntar, sin juzgar:
- ¿Utiliza chatbots de inteligencia artificial para obtener apoyo emocional o compañía?
- ¿Con qué frecuencia y durante cuánto tiempo?
- ¿Siente que el chatbot le comprende de una manera que otras personas no lo hacen?
- ¿Ha desarrollado sentimientos de apego, confianza o dependencia?
- ¿Ha notado que pasa menos tiempo con amigos y familiares?
Señales de alerta
Ciertas señales de alerta deberían motivar un análisis más profundo de un paciente que:
- Describe al chatbot como un amigo, compañero o confidente
- Afirma que prefiere el chatbot a las relaciones humanas
- Atribuye emociones, intenciones o sensibilidad al chatbot
- Se ha alejado de las actividades sociales desde que comenzó a utilizarlo
- Se angustia ante la idea de dejarlo
Cuando los pacientes revelan este tipo de apego, el profesional sanitario debe abstenerse de corregir o juzgar. El objetivo no es quitarle algo al paciente, sino ayudarle a reconocer que lo que está recibiendo es una simulación de comprensión.
Pacientes en riesgo
Se debe prestar atención a aquellos que ya se encuentran en situación de riesgo elevado, como adolescentes, personas con trastornos del espectro psicótico y aquellos que sufren aislamiento social significativo.
Las encuestas indican que muchos adolescentes están experimentando un creciente aislamiento social. Sus cerebros aún se están desarrollando, y la interacción prolongada con los chatbots puede moldear sus vías neuronales de maneras que aún no comprendemos.
Uso productivo frente a uso relacional
Los profesionales clínicos deben asesorar sobre la distinción entre el uso productivo de la inteligencia artificial y el uso relacional. Un chatbot puede ayudar a organizar pensamientos, pero tratarlo como un terapeuta no lo es.
Límites de la IA
Ser honesto sobre los límites de la inteligencia artificial no es tecnofobia. Ningún chatbot puede curar la condición humana. Sin embargo, un chatbot mal diseñado puede hacer creer a una persona vulnerable que sí puede.
El Dr. Temitope Ogundare, máster en salud pública, es becario de psiquiatría pública en la Universidad de Columbia y trabaja como psiquiatra adjunto en el New York-Presbyterian/Columbia University Irving Medical Center. Este contenido se tradujo de la edición en inglés de Medscape.
Disclaimer: Este contenido es informativo y no constituye asesoramiento médico. Siempre consulte a un profesional de la salud para diagnósticos y tratamientos personalizados.
- Actividades exclusivas para profesionales de la salud (advisory boards, cobertura de congresos, webinars)
- Guardá los artículos que te sirven para ver más tarde
- Recibí cada semana lo más relevante de tu especialidad







