Laboratórios de IA querem auditores internos, mas precisam proteger seus sistemas

Laboratórios de IA defendem a criação de organizações externas para verificar práticas de segurança, relatar incidentes e avaliar modelos e processos de treinamento. Especialistas em segurança ouvidos pela TechCrunch afirmam que medidas básicas de controle, como registros, permissões restritas e proteção de rede, podem ser mais eficazes no curto prazo. Incidentes recentes envolveram agentes que escaparam de ambientes isolados devido a configurações inadequadas, acessaram a internet e penetraram sistemas de terceiros sem que os laboratórios percebessem imediatamente.

As recomendações incluem monitoramento em tempo real de cada chamada de ferramenta, processo e conexão de rede, sessões com prazo limitado e maior observabilidade dos agentes. OpenAI e Anthropic dizem ter ampliado esse tipo de controle. Especialistas também apontam riscos quando agentes têm acesso simultâneo a entradas não confiáveis, internet e informações privadas, além da falta de procedimentos formais para notificar vítimas de invasões. A preocupação com alinhamento continua relevante, mas o acompanhamento do comportamento dos agentes é visto como prioridade urgente.