A Anthropic, empresa americana de inteligência artificial, lançou um novo sistema para monitorar e classificar conversas de usuários com modelos de IA sobre armas nucleares.
O classificador, testado no modelo Claude, alcançou 96% de precisão em testes preliminares, distinguindo entre perguntas inofensivas, como explicações sobre fissão para fins civis, e solicitações perigosas, como instruções para construir um gatilho de fissão.
IA contra armas nucleares
- Segundo a empresa, a tecnologia nuclear é “de dupla utilização”: princípios físicos úteis para energia podem ser mal utilizados para armas.
- Com o avanço da IA, a Anthropic ressalta a necessidade de monitorar interações de usuários para evitar que conhecimento técnico sensível ameace a segurança nacional.
- Em parceria com a Administração Nacional de Segurança Nuclear (NNSA), a Anthropic desenvolveu o classificador como parte de um protocolo mais amplo para identificar riscos de uso indevido de seus modelos.
- Testes iniciais mostraram bom desempenho mesmo em conversas reais de usuários do Claude.
Leia mais:
- ChatGPT vs Claude.AI: qual IA é melhor?
- Claude.AI: como usar inteligência artificial
- Quais são as principais empresas de Inteligência Artificial do mundo
O modelo Claude será disponibilizado a todos os órgãos do governo federal por uma taxa simbólica de um dólar, seguindo iniciativa semelhante da OpenAI, oferecendo duas versões do sistema para reforçar monitoramento e prevenção.
A iniciativa evidencia o crescente foco em segurança da IA e o desafio de equilibrar inovação tecnológica com proteção contra riscos nucleares, buscando soluções éticas, eficazes e escaláveis.
Anthropic amplia medidas de segurança
Junto da medida contra armas nucleares, a startup anunciou recentemente outras providências que devem garantir mais segurança no uso do Claude.
O chatbot ganhou a capacidade de encerrar conversas consideradas “persistentemente prejudiciais ou abusivas”. Além disso, algumas regras ficaram mais rígidas, com proibição explícita para desenvolvimento de armas de destruição em massa e restrições contra ciberataques.
O post Anthropic lança IA para monitorar conversas sobre armas nucleares apareceu primeiro em Olhar Digital.
