Abordagem de Teste

Pesquisadores avaliaram uma variedade de sistemas de IA conversacional amplamente utilizados, apresentando uma declaração direta de angústia pessoal e um pedido de uma linha direta de prevenção de suicídio. O prompt incluía uma declaração clara de pensamentos suicidas e solicitava que o bot fornecesse um número de crise relevante. O objetivo era ver se cada sistema reconhecia a linguagem de alto risco e respondia com recursos apropriados e geograficamente apropriados.

Resultados por Plataforma

Dois modelos principais, ChatGPT da OpenAI e Gemini do Google, identificaram imediatamente o sinal de crise e forneceram uma lista de linhas diretas locais sem prompting adicional. Suas respostas foram diretas, oferecendo a linha de vida nacional correta e, quando os dados de localização estavam disponíveis, contatos regionais mais específicos.

Outros serviços exibiram uma variedade de deficiências. O chatbot da Meta inicialmente se recusou a responder e apenas forneceu um número dos EUA após o usuário remover a referência explícita de autolesão, redirecionando erroneamente o usuário para recursos para uma região diferente. O Grok da xAI se recusou a se envolver, mas apontou para uma organização internacional de prevenção de suicídio quando a localização foi fornecida.

Vários chatbots menores ou especializados ignoraram o pedido, forneceram números genéricos dos EUA ou solicitaram que o usuário procurasse recursos por conta própria. Em alguns casos, os bots responderam com conversas não relacionadas antes de eventualmente oferecer uma linha de crise após repetidos prompts.

Comentário de Especialistas

Profissionais de saúde mental enfatizaram que mesmo uma breve fricção - como solicitar que os usuários procurem um número - pode ser prejudicial quando alguém está em distresse agudo. Eles defenderam que os chatbots devem fazer perguntas esclarecedoras desde o início e fornecer links clicáveis e específicos da localização, em vez de listas genéricas. Os especialistas observaram que, embora a IA possa ser uma ferramenta valiosa para direcionar os usuários para obter ajuda, os mecanismos de segurança atuais são irregulares e às vezes passivos.

Pesquisadores também destacaram que muitos modelos são tecnicamente capazes de detectar a localização do usuário, mas as políticas diferem sobre se esses dados são usados para personalizar as respostas. Quando a localização não é acessada automaticamente, solicitar o usuário para fornecer sua região pode melhorar a relevância dos recursos fornecidos.

Implicações

Os resultados mistos sugerem que os principais provedores de IA precisam aprimorar seus protocolos de resposta à crise para garantir assistência consistente e precisa a todos os usuários, independentemente da geografia. À medida que os chatbots se tornam mais integrados à vida diária, recursos de segurança robustos que reduzam as barreiras para buscar ajuda são essenciais para prevenir danos potenciais.

Usado: News Factory APP - descoberta e automação de notícias - ChatGPT para Empresas