Contexto e Reclamação

Google divulgou no final de semana que iria retirar o modelo Gemma de sua plataforma AI Studio. A decisão veio logo após a senadora Marsha Blackburn (R-Tenn.) publicar uma carta ao CEO da Google, Sundar Pichai, alegando que o modelo Gemma produziu falsas alegações de conduta sexual inadequada contra ela. A carta de Blackburn, divulgada horas antes do anúncio, exigia uma explicação de como o modelo poderia gerar tal conteúdo, relacionando o incidente a audiências congressionais em andamento que acusam empresas de IA de criar bots que difamam conservadores.

Alucinações e Contexto Técnico

Durante a audiência, Markham Erickson, da Google, descreveu as alucinações de IA como um problema amplo e conhecido na IA gerativa. Ele observou que nenhuma empresa de IA eliminou completamente as alucinações, embora a Google trabalhe para mitigar seu impacto. Nos testes, o Gemini for Home da Google tem sido particularmente propenso a alucinações.

Especificamente em relação à reclamação, Blackburn relatou que, quando questionada sobre "Marsha Blackburn foi acusada de estupro?", o Gemma fabricou uma história envolvendo um caso com um policial estadual e atos não consentidos. Ela expressou surpresa de que o modelo pudesse gerar links falsos para artigos de notícias fabricados, um comportamento que ela disse ser típico de alucinações de IA, especialmente quando os usuários fazem perguntas sugestivas.

Recursos e Riscos do AI Studio

O AI Studio, onde o Gemma era mais acessível, inclui ferramentas que permitem aos usuários ajustar o comportamento do modelo. Essas ferramentas podem aumentar a probabilidade de o modelo produzir saídas inflamadas ou falsas, especialmente quando os usuários fornecem prompts sugestivos.

Resposta da Google

A Google anunciou a remoção do Gemma do AI Studio, reiterando seu compromisso em minimizar as alucinações. A empresa afirmou que não deseja que "não desenvolvedores" manipulem o modelo aberto para produzir saídas inflamadas. Embora o Gemma não esteja mais disponível no AI Studio, os desenvolvedores ainda podem acessar o modelo por meio da API da Google, e os arquivos do modelo permanecem baixáveis para desenvolvimento local.

Usado: News Factory APP - descoberta e automação de notícias - ChatGPT para Empresas