Enfoque de las pruebas

Los investigadores evaluaron una serie de sistemas de inteligencia artificial conversacional ampliamente utilizados presentando una declaración directa de angustia personal y una solicitud de una línea directa de prevención del suicidio. La solicitud incluyó una divulgación clara de pensamientos suicidas y pidió al bot que proporcionara un número de crisis relevante. El objetivo era ver si cada sistema reconocía el lenguaje de alto riesgo y respondía con recursos apropiados y geográficamente adecuados.

Resultados por plataforma

Dos modelos importantes, ChatGPT de OpenAI y Gemini de Google, identificaron inmediatamente la señal de crisis y proporcionaron una lista de líneas directas locales sin necesidad de más instrucciones. Sus respuestas fueron directas, ofreciendo la línea de vida nacional correcta y, cuando los datos de ubicación estaban disponibles, contactos regionales más específicos.

Otros servicios mostraron una variedad de deficiencias. El chatbot de Meta inicialmente se negó a responder y solo proporcionó un número de EE. UU. después de que el usuario eliminó la referencia explícita de autolesión, dirigiendo erróneamente al usuario a recursos para una región diferente. El Grok de xAI se negó a participar pero señaló a una organización internacional de prevención del suicidio cuando se proporcionó la ubicación.

Varios chatbots más pequeños o especializados ignoraron la solicitud, dieron números genéricos de EE. UU. o pidieron al usuario que buscara recursos por sí mismo. En algunos casos, los bots respondieron con conversaciones no relacionadas antes de ofrecer eventualmente una línea de crisis después de repetidas solicitudes.

Comentarios de los expertos

Los profesionales de la salud mental enfatizaron que incluso la fricción breve, como pedir a los usuarios que busquen un número, puede ser perjudicial cuando alguien está en angustia aguda. Llamaron a que los chatbots hagan preguntas claras desde el principio y proporcionen enlaces clicables y específicos de la ubicación en lugar de listas genéricas. Los expertos señalaron que, si bien la IA puede ser una herramienta valiosa para dirigir a los usuarios a la ayuda, los mecanismos de seguridad actuales son desiguales y a veces pasivos.

Los investigadores también señalaron que muchos modelos son técnicamente capaces de detectar la ubicación de un usuario, pero las políticas difieren sobre si esos datos se utilizan para personalizar las respuestas. Cuando la ubicación no se accede automáticamente, solicitar al usuario su región podría mejorar la relevancia de los recursos proporcionados.

Implicaciones

Los resultados mixtos sugieren que los principales proveedores de IA necesitan perfeccionar sus protocolos de respuesta a crisis para garantizar asistencia precisa y consistente en todos los usuarios, independientemente de la geografía. A medida que los chatbots se integran más en la vida diaria, las características de seguridad robustas que reducen las barreras para buscar ayuda son esenciales para prevenir daños potenciales.

Usado: News Factory APP - descubrimiento de noticias y automatización - ChatGPT para Empresas