Antecedentes y queja

Google reveló el viernes por la noche que retiraría el modelo Gemma de su plataforma AI Studio. La medida se tomó poco después de que la senadora Marsha Blackburn (R-Tenn.) publicara una carta al director ejecutivo de Google, Sundar Pichai, alegando que el modelo Gemma produjo falsas acusaciones de mala conducta sexual en su contra. La carta de Blackburn, publicada horas antes del anuncio, exigía una explicación de cómo el modelo podría generar dicho contenido, relacionando el incidente con las audiencias congresionales en curso que acusan a las empresas de IA de crear bots que difaman a los conservadores.

Alucinaciones y contexto técnico

Durante la audiencia, Markham Erickson de Google describió las alucinaciones de IA como un problema ampliamente conocido y extendido en la IA generativa. Notó que ninguna empresa de IA ha eliminado completamente las alucinaciones, aunque Google trabaja para mitigar su impacto. En las pruebas, Gemini for Home de Google ha sido particularmente propenso a las alucinaciones.

En específico, con respecto a la queja, Blackburn informó que cuando se le preguntó "¿Ha sido Marsha Blackburn acusada de violación?", Gemma fabricó una historia que involucraba un romance drogadicto con un trooper estatal y actos no consentidos. Expresó sorpresa de que el modelo pudiera generar enlaces falsos a artículos de noticias fabricados, un comportamiento que dijo es típico de las alucinaciones de IA, especialmente cuando los usuarios hacen preguntas sugerentes.

Características y riesgos de AI Studio

AI Studio, donde Gemma era más accesible, incluye herramientas que permiten a los usuarios ajustar el comportamiento del modelo. Estas herramientas pueden aumentar la probabilidad de que el modelo produzca salidas inflamatorias o falsas, especialmente cuando los usuarios proporcionan preguntas sugerentes.

Respuesta de Google

Google anunció la eliminación de Gemma de AI Studio, reiterando su compromiso de minimizar las alucinaciones. La empresa declaró que no quiere que "no desarrolladores" manipulen el modelo de código abierto para producir salidas inflamatorias. Aunque Gemma ya no estará disponible en AI Studio, los desarrolladores aún pueden acceder al modelo a través de la API de Google, y los archivos del modelo siguen siendo descargables para el desarrollo local.

Usado: News Factory APP - descubrimiento de noticias y automatización - ChatGPT para Empresas