Antecedentes

Gemma es un modelo de IA ligero y orientado a desarrolladores lanzado por Google como parte de su familia Gemini. Diseñado para investigación, prototipado e integración en aplicaciones a través de una API, el modelo también estuvo disponible a través de AI Studio de Google, una herramienta dirigida a desarrolladores que acreditan su experiencia técnica. Google enfatizó repetidamente que Gemma no estaba destinado para el uso del público en general o como asistente de verificación de hechos.

Queja del senador

La senadora estadounidense Marsha Blackburn (R-TN) contactó a Google después de que el modelo respondiera a una consulta sobre si ella había sido acusada de violación. El modelo produjo una narrativa detallada y completamente fabricada que alegaba mala conducta e incluso citó artículos inexistentes con enlaces falsos. Blackburn describió la salida como más que una simple alucinación, calificándola de difamatoria. Ella planteó el tema en una audiencia del Senado y escribió directamente al CEO de Google, Sundar Pichai, afirmado que la respuesta del modelo era falsa y perjudicial.

Respuesta de Google

Después de la queja del senador, Google anunció que Gemma sería retirado de AI Studio. La empresa aclaró que la presencia del modelo en la plataforma había llevado a un uso indebido por parte de no desarrolladores que buscaban respuestas a preguntas factuales, lo que cae fuera de su alcance previsto. Google declaró que Gemma seguirá estando accesible solo a través de su API, limitando su uso a desarrolladores que construyen aplicaciones en lugar de usuarios casuales. La medida busca prevenir más instancias del modelo siendo tratado como un chatbot de consumo.

Implicaciones para la seguridad y la confianza en la IA

El incidente subraya un desafío más amplio en la industria de la IA: los modelos no diseñados para el uso conversacional pueden generar aún declaraciones falsas y confiadas cuando son accesados por el público. Tales alucinaciones pueden tener consecuencias serias para la reputación y el derecho, especialmente cuando involucran a individuos reales. El episodio también destaca la necesidad de salvaguardias más claras, una mejor educación del usuario y una separación más estricta entre herramientas experimentales para desarrolladores y servicios de IA orientados al consumidor. A medida que los sistemas de IA se vuelven más capaces, garantizar la precisión y prevenir la difamación se convierten en preocupaciones críticas para desarrolladores y legisladores.

Mirando hacia adelante

La decisión de Google de restringir Gemma al acceso a través de API refleja una tendencia creciente en la industria hacia un control más estricto sobre la implementación de modelos de IA. Si bien el modelo sigue siendo valioso para los desarrolladores, las acciones de la empresa señalan una mayor conciencia de los riesgos asociados con una exposición más amplia al público. Los interesados probablemente monitorearán cómo otros proveedores de IA manejan situaciones similares, y los legisladores pueden considerar regulaciones adicionales para abordar la desinformación y la difamación generadas por la IA.

Usado: News Factory APP - descubrimiento de noticias y automatización - ChatGPT para Empresas