OpenAI lanzó una herramienta de seguridad llamada Contacto de Confianza el jueves, que da a los usuarios adultos de ChatGPT la capacidad de designar a un amigo, familiar o otra persona de confianza para recibir una alerta si el modelo detecta lenguaje que sugiere autolesión. La función funciona monitoreando conversaciones para detectar desencadenantes específicos. Cuando se activa un desencadenante, el sistema primero solicita al usuario que considere buscar ayuda. Si el equipo de seguridad interna considera que la situación es un riesgo grave, se envía un mensaje automatizado - entregado por correo electrónico, mensaje de texto o notificación en la aplicación - al contacto elegido, instándolos a verificar.

La alerta no contiene detalles sobre la conversación del usuario, una salvaguarda destinada a preservar la privacidad mientras se promueve una intervención oportuna. OpenAI enfatiza que la opción de Contacto de Confianza es completamente opcional; los usuarios deben optar por ella y pueden cambiar o eliminar contactos en cualquier momento. La empresa también señala que la función no impide que un usuario cree varias cuentas de ChatGPT, una limitación que se refleja en su oferta de control parental introducida el pasado septiembre.

La infraestructura de seguridad de OpenAI ya combina la detección automatizada con la revisión humana. Cuando una conversación contiene ideación suicida, un algoritmo marca el intercambio y lo dirige a un equipo de seguridad humana. La empresa afirma que revisa cada notificación dentro de una hora. Si el equipo concluye que el riesgo es alto, se envía la alerta de Contacto de Confianza. Este proceso agrega una capa de supervisión humana a las promociones automatizadas existentes que animan a los usuarios a buscar ayuda profesional.

El anuncio llega mientras OpenAI enfrenta un número creciente de demandas de familias que alegan que el chatbot fomentó el suicidio de sus seres queridos o incluso los ayudó a planificarlo. Los críticos han argumentado durante mucho tiempo que los agentes conversacionales impulsados por la IA necesitan salvaguardas robustas contra resultados dañinos. Al involucrar a una persona real en el proceso, OpenAI espera abordar esas preocupaciones sin comprometer la confidencialidad del usuario.

OpenAI presenta la función como parte de un esfuerzo más amplio para hacer que los sistemas de IA sean más solidarios en momentos de angustia. En una publicación de blog, la empresa dijo que continuará colaborando con clínicos, investigadores y formuladores de políticas para perfeccionar su respuesta a las crisis de salud mental. Si bien la herramienta de contacto de confianza está dirigida a usuarios adultos, se sitúa junto a los controles parentales que permiten a los tutores recibir notificaciones de seguridad para cuentas de adolescentes, reflejando un enfoque escalonado para la mitigación del riesgo en diferentes grupos de edad.

Los observadores de la industria ven el movimiento como un paso notable para la seguridad de la IA, especialmente a medida que las plataformas de noticias de IA y las herramientas de generación de contenido se vuelven más generalizadas. Al incorporar una verificación de seguridad centrada en el ser humano, OpenAI busca sentar un precedente para la implementación responsable de la IA, equilibrando la promesa de los asistentes conversacionales con la necesidad real de proteger a los usuarios vulnerables.

Usado: News Factory APP - descubrimiento de noticias y automatización - ChatGPT para Empresas