Fundo

O pesquisador de segurança Jeremiah Fowler descobriu que um bucket de armazenamento em nuvem usado por uma startup de geração de imagens de IA estava mal configurado, permitindo que qualquer pessoa na internet acessasse seu conteúdo. O bucket abrigava ativos para os serviços de consumo da empresa, MagicEdit e DreamPal, que operam sob a marca DreamX. A investigação de Fowler, primeiro relatada no blog da ExpressVPN, revelou a extensão da exposição e motivou a abordagem imediata à empresa.

Escopo da Exposição

O bucket acessível publicamente continha 1.099.985 registros, a esmagadora maioria dos quais eram imagens ou vídeos pornográficos. A coleção incluía "nudificadas" representações de indivíduos reais, conteúdo com troca de faces e representações geradas por IA de menores. Fowler observou que, no momento da descoberta, cerca de 10.000 novas imagens estavam sendo adicionadas todos os dias, indicando um pipeline ativo de geração de conteúdo. O conjunto de dados abrangia uma variedade de estilos, desde gráficos no estilo anime até representações hiper-realistas que pareciam ser baseadas em pessoas reais.

Respostas da Empresa

Após ser contatada, a DreamX confirmou que havia fechado o acesso público ao bucket e iniciado uma investigação interna com assessoria jurídica externa. A empresa também suspendeu o acesso a seus produtos pendente do resultado da investigação. Declarações da DreamX enfatizaram um compromisso com a segurança do usuário, conformidade legal e transparência, e destacaram salvaguardas de moderação existentes, como a API de Moderação da OpenAI e o filtro automático de prompts.

Entidades relacionadas também foram abordadas. Um porta-voz da SocialBook, uma empresa de marketing de influenciadores ligada ao bucket, esclareceu que a SocialBook não opera ou gerencia o armazenamento exposto e é uma entidade legal separada. A BoostInsider, a desenvolvedora listada para os aplicativos MagicEdit e DreamPal na Apple App Store, foi descrita como uma entidade inativa cujos aplicativos foram removidos como parte de uma reestruturação mais ampla e para fortalecer os quadros de moderação de conteúdo.

Tanto o MagicEdit quanto o DreamPal foram removidos das principais lojas de aplicativos. O Google confirmou que os aplicativos foram removidos por violações de política relacionadas a conteúdo explícito sexual, enquanto a Apple indicou que os aplicativos haviam sido retirados de sua loja.

Implicações da Indústria

A violação destaca os riscos persistentes associados à geração de imagens impulsionada por IA, particularmente a criação e distribuição de imagens sexuais não consensuais e material de abuso sexual infantil (CSAM). Grupos de defesa, como o fundador da EndTAB, Adam Dodge, alertaram que o incidente reflete um padrão mais amplo de startups priorizando o crescimento rápido sobre medidas robustas de confiança e segurança. As descobertas de Fowler se juntam a relatórios anteriores de bancos de dados de imagens de IA mal configurados que continham conteúdo abusivo semelhante.

Organizações de aplicação da lei e proteção infantil, incluindo o National Center for Missing & Exploited Children, foram notificadas, embora não divulguem detalhes de dicas específicas recebidas. O episódio motivou chamadas renovadas para uma supervisão mais rigorosa, moderação de conteúdo obrigatória e mecanismos de responsabilidade mais claros para empresas que implantam tecnologias de IA geradoras.

Usado: News Factory APP - descoberta e automação de notícias - ChatGPT para Empresas