Postura de Anthropic sobre la IA de defensa

El director ejecutivo de Anthropic, Dario Amodei, escribió una carta al Departamento de Defensa de los Estados Unidos explicando por qué la empresa no puede cumplir con la solicitud de eliminar las salvaguardas incorporadas en sus modelos de IA Claude. La solicitud, hecha por el Pentágono, buscaba utilizar los modelos para la vigilancia masiva y para "armas autónomas completamente". Amodei enfatizó que cree "profundamente en la importancia existencial de utilizar la IA para defender a los Estados Unidos y otras democracias", sin embargo, mantiene que la generación actual de sistemas de IA de vanguardia no es lo suficientemente confiable como para reemplazar el juicio de las tropas profesionales.

Preocupaciones técnicas y éticas

Según Amodei, los principios de la "Constitución" que guían la IA de Anthropic, como ser ampliamente segura y ética, entran en conflicto directo con la demanda del Departamento de eliminar esas salvaguardas. Advirtió que "sin una supervisión adecuada, las armas autónomas completamente no pueden confiarse para ejercer el juicio crítico que nuestros tropas profesionales y altamente entrenadas exhiben todos los días". El director ejecutivo también destacó los riesgos más amplios de la vigilancia masiva impulsada por la IA, señalando que las leyes existentes no han mantenido el ritmo de las capacidades en rápido avance.

Contexto histórico

Amodei se refirió a una carta abierta de 2017 a las Naciones Unidas, co-firmada por numerosos líderes de la IA y la robótica, incluido Elon Musk, que pedía una prohibición de las armas autónomas. Notó que preocupaciones similares han sido planteadas durante años, citando un incidente en 2016 cuando un robot de desactivación de bombas se utilizó para eliminar a un sospechoso de tiroteo masivo en Texas.

Implicaciones para el contrato del Pentágono

Anthropic está actualmente en riesgo de perder un contrato de $200 millones con el Departamento de Defensa. La empresa ya tiene la IA Claude integrada en varios sistemas de defensa, pero Amodei indicó que volver a configurar un modelo menos poderoso para cumplir con la solicitud del Pentágono no lograría el resultado deseado. Describió la demanda como una "mala idea" y afirmó que la empresa está optando por defender sus principios de seguridad en lugar de comprometerse por ganancias a corto plazo.

Conclusión

El rechazo de Amodei subraya una creciente tensión entre el desarrollo rápido de la IA y los marcos de seguridad establecidos. Al priorizar las salvaguardas éticas y reconocer las limitaciones actuales de la IA en aplicaciones autónomas letales, Anthropic se posiciona como un jugador responsable en el espacio de la IA de defensa, incluso al costo de un contrato gubernamental sustancial.

Usado: News Factory APP - descubrimiento de noticias y automatización - ChatGPT para Empresas