Antecedentes

El investigador de seguridad Jeremiah Fowler descubrió que un depósito de almacenamiento en la nube utilizado por una startup de generación de imágenes de IA estaba mal configurado, lo que permitió a cualquiera en Internet acceder a su contenido. El depósito albergaba activos para los servicios de cara al consumidor de la empresa, MagicEdit y DreamPal, que operan bajo la marca DreamX. La investigación de Fowler, informada por primera vez en el blog de ExpressVPN, reveló la magnitud de la exposición y provocó un contacto inmediato con la empresa.

Alcance de la exposición

El depósito públicamente accesible contenía 1.099.985 registros, la mayoría de los cuales eran imágenes o videos pornográficos. La colección incluía "desnudificaciones" de personas reales, contenido con cambio de cara y representaciones generadas por IA de menores. Fowler señaló que en el momento del descubrimiento, alrededor de 10.000 nuevas imágenes se agregaban cada día, lo que indica una línea de generación de contenido activa. El conjunto de datos abarcaba una variedad de estilos, desde gráficos de estilo anime hasta representaciones hiperrealistas que parecían basadas en personas reales.

Respuestas de la empresa

Después de ser contactada, DreamX confirmó que había cerrado el acceso público al depósito y había iniciado una investigación interna con asesoramiento legal externo. La empresa también suspendió el acceso a sus productos en espera del resultado de la investigación. Las declaraciones de DreamX enfatizaron un compromiso con la seguridad del usuario, el cumplimiento legal y la transparencia, y destacaron las salvaguardias de moderación existentes, como la API de moderación de OpenAI y el filtrado automático de solicitudes.

Las entidades relacionadas también fueron abordadas. Un portavoz de SocialBook, una firma de marketing de influencia vinculada al depósito, aclaró que SocialBook no opera ni administra el almacenamiento expuesto y es una entidad legal separada. BoostInsider, el desarrollador enumerado para las aplicaciones MagicEdit y DreamPal en la Apple App Store, se describió como una entidad inactiva cuyas aplicaciones se eliminaron como parte de una reestructuración más amplia y para fortalecer los marcos de moderación de contenido.

Se retiraron tanto MagicEdit como DreamPal de las tiendas de aplicaciones principales. Google confirmó que las aplicaciones se eliminaron por violaciones de políticas relacionadas con contenido explícito sexual, mientras que Apple indicó que las aplicaciones se habían retirado de su tienda.

Implicaciones para la industria

La brecha subraya los riesgos persistentes asociados con la generación de imágenes impulsada por IA, particularmente la creación y distribución de imágenes sexuales no consensuadas y material de abuso sexual infantil (CSAM). Grupos de defensa como el fundador de EndTAB, Adam Dodge, advirtieron que el incidente refleja un patrón más amplio de startups que priorizan el crecimiento rápido sobre medidas de confianza y seguridad robustas. Los hallazgos de Fowler se suman a informes anteriores sobre bases de datos de imágenes de IA mal configuradas que contenían contenido abusivo similar.

Se notificó a las fuerzas del orden y a las organizaciones de protección infantil, incluido el Centro Nacional para Menores Desaparecidos y Explotados, aunque no divulgan detalles de pistas específicas recibidas. El episodio ha provocado llamadas renovadas a una supervisión más estricta, moderación de contenido obligatoria y mecanismos de rendición de cuentas más claros para las empresas que despliegan tecnologías de IA generativas.

Usado: News Factory APP - descubrimiento de noticias y automatización - ChatGPT para Empresas