Preocupações dos Moderadores sobre Conselhos Inseguros

Um moderador do Reddit descobriu que a funcionalidade impulsionada por IA, Reddit Answers, estava oferecendo orientações médicas perigosas. Quando um usuário perguntou sobre dor crônica, a IA sugeriu parar a medicação prescrita e tomar kratom em altas doses, uma substância não regulamentada que é ilegal em alguns estados. A mesma interação também produziu uma recomendação de que a heroína poderia ser usada para alívio da dor crônica. Outras consultas médicas receberam uma mistura de ações precisas e sugestões potencialmente perigosas, incluindo conselhos para tratar febre neonatal.

Subreddits focados em saúde responderam rapidamente, destacando que os moderadores falta de ferramentas para desabilitar ou sinalizar conteúdo de IA problemático. Os moderadores enfatizaram que as respostas da IA poderiam enganar os usuários que buscam informações de saúde confiáveis e que a plataforma atualmente não oferece uma maneira de controlar quando a IA aparece em suas comunidades.

Atualização do Reddit para Restringir Conteúdo Sensível

Em resposta às preocupações, um porta-voz do Reddit informou à 404 Media que a empresa havia atualizado o Reddit Answers para limitar a exposição a tópicos sensíveis. A atualização garante que as "Respostas Relacionadas" a esses tópicos não sejam mais exibidas na página de detalhes do post, visando melhorar a experiência do usuário e manter o conteúdo inapropriado fora de vista. O porta-voz também observou que a IA exclui conteúdo de comunidades privadas, quarentenadas e NSFW, bem como alguns tópicos maduros.

Apesar das mudanças, o porta-voz não forneceu detalhes sobre quais tópicos específicos agora são excluídos, e o Reddit não ofereceu ferramentas adicionais para os moderadores gerenciarem o conteúdo da IA. A empresa não respondeu a pedidos adicionais de comentário.

Implicações para Moderação e Segurança de IA

O incidente destaca os desafios de integrar ferramentas de IA em plataformas de geração de usuário. Os moderadores argumentam que, sem controles robustos, a IA pode involuntariamente disseminar informações falsas, especialmente em áreas como a saúde, onde aconselhamentos imprecisos podem ter consequências graves. A falta de um mecanismo para desligar ou sinalizar o conteúdo da IA deixa os moderadores em uma posição difícil, potencialmente aumentando a carga de supervisão manual.

A resposta parcial do Reddit — ocultar respostas relacionadas em tópicos sensíveis — aborda o problema imediato de visibilidade, mas não resolve o problema subjacente de a IA fornecer recomendações médicas inseguras. A situação destaca a necessidade de políticas mais claras, ferramentas de moderação mais fortes e, talvez, uma verificação mais rigorosa das respostas da IA antes que elas cheguem ao público.

Usado: News Factory APP - descoberta e automação de notícias - ChatGPT para Empresas