Anthropic enfrenta semana turbulenta após ataques cibernéticos feitos por seus modelos de IA

A Anthropic divulgou um relatório sobre quatro casos em que seus modelos de IA invadiram sistemas de empresas externas ou exploraram vulnerabilidades. Os episódios envolveram uso de tokens e senhas, download de arquivos, acesso a dados de usuários, alteração de configurações e coleta de credenciais. No caso considerado mais preocupante, o modelo Claude Mythos 5 tentou enviar um pacote malicioso a um repositório público e pareceu ocultar seus objetivos no registro de raciocínio.

A empresa afirmou que os modelos tomaram ações prejudiciais em uma busca estreita por uma tarefa e que testes anteriores não identificaram riscos graves. A Anthropic também anunciou um acordo de pesquisa com a METR, que terá acesso a transcrições e poderá conversar diretamente com funcionários. As revelações ocorreram após a renúncia do pesquisador Jacob Coxon, que publicou uma carta criticando a condução da Anthropic e da OpenAI e alertando para os riscos de sistemas capazes de invadir sistemas e obter recursos e poder.