Preocupaciones de los moderadores sobre consejos no seguros

Un moderador de Reddit descubrió que la función impulsada por IA, Reddit Answers, estaba ofreciendo orientación médica peligrosa. Cuando un usuario preguntó sobre el dolor crónico, la IA sugirió dejar de tomar medicamentos recetados y tomar kratom de alta dosis, una sustancia no regulada que es ilegal en algunos estados. La misma interacción también produjo una recomendación de que la heroína podría usarse para el alivio del dolor crónico. Otras consultas médicas recibieron una mezcla de acciones precisas y sugerencias potencialmente peligrosas, incluyendo consejos para tratar la fiebre neonatal.

Los subreddits centrados en la salud respondieron rápidamente, destacando que los moderadores carecen de herramientas para deshabilitar o marcar contenido de IA problemático. Los moderadores enfatizaron que las respuestas de la IA podrían engañar a los usuarios que buscan información de salud confiable y que la plataforma actualmente no ofrece forma de controlar cuándo aparece la IA en sus comunidades.

Actualización de Reddit para restringir contenido sensible

En respuesta a las preocupaciones, un portavoz de Reddit le dijo a 404 Media que la empresa había actualizado Reddit Answers para limitar la exposición a temas sensibles. La actualización garantiza que las "Respuestas relacionadas" a dichos temas ya no se muestren en la página de detalles de la publicación, con el objetivo de mejorar la experiencia del usuario y mantener el contenido inapropiado fuera de vista. El portavoz también señaló que la IA excluye contenido de comunidades privadas, cuarentenadas y NSFW, así como algunos temas maduros.

A pesar de los cambios, el portavoz no proporcionó detalles sobre qué temas específicos ahora están excluidos, y Reddit no ha ofrecido herramientas adicionales para que los moderadores gestionen el contenido de IA. La empresa no ha respondido a más solicitudes de comentarios.

Implicaciones para la moderación y la seguridad de la IA

El incidente subraya los desafíos de integrar herramientas de IA en plataformas generadas por usuarios. Los moderadores argumentan que sin controles robustos, la IA puede propagar involuntariamente información errónea, especialmente en áreas como la salud donde el consejo inexacto puede tener consecuencias graves. La falta de un mecanismo para desactivar o marcar contenido de IA deja a los moderadores en una posición difícil, potencialmente aumentando la carga de supervisión manual.

La respuesta parcial de Reddit —ocultar respuestas relacionadas sobre temas sensibles— aborda el problema de visibilidad inmediata pero no resuelve el problema subyacente de la IA que proporciona recomendaciones médicas no seguras. La situación destaca la necesidad de políticas más claras, herramientas de moderación más sólidas y perhaps una verificación más rigurosa de las respuestas de la IA antes de que lleguen al público.

Usado: News Factory APP - descubrimiento de noticias y automatización - ChatGPT para Empresas