Posição da Anthropic sobre IA de Defesa

O CEO da Anthropic, Dario Amodei, escreveu uma carta ao Departamento de Defesa dos EUA explicando por que a empresa não pode atender ao pedido de eliminar as guardrails construídas em seus modelos de IA Claude. O pedido, feito pelo Pentágono, buscava usar os modelos para vigilância em massa e para "armas autônomas totalmente autônomas". Amodei enfatizou que acredita "profundamente na importância existencial de usar IA para defender os EUA e outras democracias", mas mantém que a geração atual de sistemas de IA de fronteira não é confiável o suficiente para substituir o julgamento de tropas profissionais.

Preocupações Técnicas e Éticas

De acordo com Amodei, os princípios da "Constituição" que guiam a IA da Anthropic - como ser amplamente segura e amplamente ética - entram em conflito direto com a demanda do Departamento para remover essas salvaguardas. Ele alertou que "sem supervisão adequada, armas autônomas totalmente autônomas não podem ser confiáveis para exercer o julgamento crítico que nossas tropas profissionais e treinadas exhibem todos os dias". O CEO também destacou os riscos mais amplos da vigilância em massa impulsionada por IA, observando que as leis existentes não acompanharam o ritmo das capacidades em rápida evolução.

Contexto Histórico

Amodei referenciou uma carta aberta de 2017 às Nações Unidas, co-assinada por numerosos líderes de IA e robótica, incluindo Elon Musk, que pediu uma proibição de armas autônomas. Ele notou que preocupações semelhantes foram levantadas por anos, citando um incidente em 2016 quando um robô de desativação de bombas foi usado para eliminar um suspeito de tiroteio em massa no Texas.

Implicações para o Contrato do Pentágono

A Anthropic está atualmente correndo o risco de perder um contrato de US$ 200 milhões com o Departamento de Defesa. A empresa já tem o IA Claude integrado a vários sistemas de defesa, mas Amodei indicou que reprojeto de um modelo menos poderoso para atender ao pedido do Pentágono não alcançaria o resultado desejado. Ele descreveu a demanda como uma "má ideia" e afirmou que a empresa está escolhendo defender seus princípios de segurança em vez de comprometer por ganhos de curto prazo.

Conclusão

A recusa de Amodei destaca uma tensão crescente entre o desenvolvimento rápido de IA e os quadros de segurança estabelecidos. Ao priorizar salvaguardas éticas e reconhecer as limitações atuais da IA em aplicações letais autônomas, a Anthropic se posiciona como um jogador responsável no espaço de IA de defesa, mesmo ao custo de um contrato governamental substancial.

Usado: News Factory APP - descoberta e automação de notícias - ChatGPT para Empresas