Anthropic anunció el lunes que un puñado de usuarios no autorizados han estado accediendo a su modelo Claude Mythos desde el día en que la empresa abrió un programa de prueba controlado. El modelo, promocionado como un avance en el análisis de ciberseguridad, estaba destinado a estar disponible solo para un grupo selecto de empresas asociadas.

Bloomberg informó que los intrusos llegaron al punto final del modelo reuniendo información de dos fuentes. En primer lugar, una violación de seguridad separada en Mercur, una empresa que suministra datos de capacitación de inteligencia artificial, expuso detalles sobre la infraestructura de Anthropic. En segundo lugar, un contratista que previamente evaluó los modelos de Anthropic proporcionó involuntariamente conocimientos internos que ayudaron a los atacantes a hacer una suposición educada sobre dónde se alojaba Mythos. El grupo no empleó un exploit de día cero sofisticado; en cambio, utilizaron pistas públicamente disponibles y una suposición afortunada, una técnica que los expertos en seguridad dicen es rutinaria en la industria.

Anthropic confirmó la violación y dijo que una investigación interna está en marcha. El equipo de seguridad de la empresa, que puede registrar y rastrear el uso del modelo, admitió que la supervisión no fue suficiente para detectar el acceso no autorizado de inmediato. "Estamos revisando nuestros procedimientos de detección y respuesta para asegurarnos de que cualquier intento futuro sea identificado en tiempo real", dijo un portavoz.

Según el investigador de seguridad Lukasz Olejnik, el incidente ilustra un fracaso predecible que las empresas han estado tratando durante dos décadas. "Es un escenario completamente imaginable", señaló, enfatizando que cualquier organización que dependa de puntos de acceso controlados por humanos debe anticipar este tipo de ataques basados en suposiciones.

Mientras que Anthropic comercializa Mythos como una herramienta capaz de encontrar vulnerabilidades en todos los sistemas operativos y navegadores web principales, Bloomberg indicó que los usuarios no autorizados no estaban explotando el modelo para trabajar en ciberseguridad. Su motivación parecía ser la curiosidad y el deseo de "jugar" con un sistema de inteligencia artificial de alto perfil, un comportamiento que puede haber ayudado a evitar que la violación se intensificara aún más.

El episodio ocurre después de errores anteriores que rodearon a Mythos. La existencia del modelo fue revelada involuntariamente en un conjunto de datos no seguro en el sitio web de Anthropic, y las agencias de EE. UU. como la NSA han obtenido acceso a pesar de que el modelo fue etiquetado como un riesgo de cadena de suministro. La implementación también evitó la Agencia de Seguridad de Infraestructura y Ciberseguridad (CISA), lo que plantea preocupaciones sobre la coordinación con la supervisión federal de ciberseguridad.

Los observadores de la industria ven la violación como un recordatorio sobrio de que incluso las empresas que abogan por la seguridad de la inteligencia artificial pueden ser víctimas de descuidos de seguridad básicos. La fellow del Royal United Services Institute Pia Hüsch advirtió que el error humano a menudo sigue siendo el eslabón más débil en cualquier cadena de seguridad. Agregó que la simplicidad de la violación no disminuye su impacto; muestra cómo un conjunto modesto de pistas puede abrir una puerta a recursos de inteligencia artificial avanzados.

Los próximos pasos de Anthropic probablemente involucrarán endurecer los controles de acceso, mejorar la supervisión en tiempo real y posiblemente revisitar la estrategia de lanzamiento del modelo. La marca de la empresa, construida sobre una reputación de estrictos estándares de seguridad, ahora enfrenta escrutinio sobre si sus salvaguardas internas coincidieron con la narrativa pública de un sistema de inteligencia artificial altamente seguro y responsablemente implementado.

Usado: News Factory APP - descubrimiento de noticias y automatización - ChatGPT para Empresas