Posição da OpenAI sobre a Injeção de Prompt

A OpenAI admitiu abertamente que a injeção de prompt - uma técnica que engana agentes de IA para executar instruções maliciosas ocultas - representa um desafio de segurança de longo prazo para o seu navegador Atlas. Em uma postagem recente no blog, a empresa descreveu a injeção de prompt como um risco que é improvável ser completamente "resolvido", comparando-a a golpes de engenharia social tradicionais na web.

A OpenAI enfatiza que o "modo de agente" no Atlas expande a superfície de ameaça de segurança, e a empresa está comprometida em fortalecer continuamente suas defesas.

Medidas Técnicas e Testes Automatizados

Para abordar a ameaça, a OpenAI introduziu um ciclo de resposta rápida e proativa que inclui um "atacante automatizado" treinado por aprendizado por reforço. Este bot é projetado para simular o comportamento de hackers, testando uma ampla gama de prompts maliciosos em um ambiente controlado antes que eles apareçam em ataques do mundo real. O sistema pode observar como o Atlas responde, refinar o ataque e repetir o processo, permitindo que a OpenAI descubra novas estratégias que podem não surgir em esforços de teste de equipe humana.

Uma demonstração mostrou o atacante inserindo um e-mail malicioso na caixa de entrada de um usuário; o agente de IA, ao scanear a caixa de entrada, seguiu a instrução oculta e redigiu uma mensagem de demissão em vez de uma resposta fora do escritório. Após a atualização de segurança, o Atlas foi capaz de detectar a tentativa de injeção e sinalizá-la ao usuário.

Orientação para os Usuários

A OpenAI também oferece conselhos práticos para reduzir o risco individual. A empresa recomenda limitar a autonomia dos agentes, restringir o acesso a dados sensíveis, como e-mail e informações de pagamento, e exigir confirmação explícita do usuário antes que os agentes tomem ações. Os usuários são incentivados a dar aos agentes instruções específicas e de escopo limitado, em vez de comandos amplos que possam ser explorados.

Contexto da Indústria e Visões Externas

O Centro Nacional de Segurança Cibernética do Reino Unido recentemente alertou que os ataques de injeção de prompt contra aplicações de IA gerativas podem nunca ser completamente mitigados, instando os profissionais a se concentrarem na redução de riscos em vez da eliminação total. Preocupações semelhantes foram expressas por outros desenvolvedores de IA; a Anthropic e o Google destacaram a necessidade de defesas em profundidade e testes de estresse contínuos de seus sistemas.

O pesquisador de segurança Rami McCarthy, da Wiz, observou que os navegadores de agentes ocupam uma "parte desafiadora do espaço" onde a autonomia moderada encontra o acesso de alto nível, tornando a compensação entre funcionalidade e risco especialmente pronunciada. Ele alertou que, para muitos casos de uso diário, o perfil de risco atual pode superar os benefícios.

Perspectiva

O investimento contínuo da OpenAI em testes, ciclos de patch rápidos e salvaguardas focadas no usuário reflete sua crença de que a injeção de prompt permanecerá uma questão persistente que exige atenção contínua. Embora a empresa não tenha divulgado reduções mensuráveis em injeções bem-sucedidas, ela enfatiza a colaboração com terceiros para endurecer o Atlas contra ameaças em evolução.

Usado: News Factory APP - descoberta e automação de notícias - ChatGPT para Empresas