Problemas abertos e emergentes de privacidade e segurança em agentes de IA

Um novo relatório de workshop, produzido por mais de 50 líderes acadêmicos e da indústria, mapeia desafios de privacidade e segurança enfrentados por agentes de IA autônomos. O documento afirma que esses sistemas precisam entender e respeitar normas comportamentais contextuais, já que podem acessar dados pessoais, executar ações relevantes e delegar tarefas em ambientes com instruções ambíguas, fluxos probabilísticos e supervisão humana limitada.

Baseado na teoria da Integridade Contextual, o relatório propõe avaliar se o compartilhamento de informações e as ações dos agentes são apropriados em cada situação. Entre as frentes de pesquisa estão um mecanismo de políticas contextuais para monitorar e autorizar ações, sandboxing no nível do sistema, raciocínio dos modelos, controles personalizados para usuários, salvaguardas em interações entre agentes, governança do ecossistema e ambientes padronizados para testar sistemas multiagentes ao longo do tempo.