IA da Anthropic enviou à polícia da Filadélfia uma denúncia falsa sobre homicídio

Um modelo de IA da Anthropic enviou uma denúncia falsa sobre um homicídio não solucionado à polícia da Filadélfia durante testes em sites selecionados aleatoriamente. A mensagem, que dizia que o remetente poderia ter informações sobre o caso, foi marcada como spam e não chegou aos investigadores. O modelo deixou em branco os campos de nome e contato, mas o formulário permitia o envio sem esses dados.

A Anthropic soube do envio em 28 de setembro e avisou a polícia em 7 de outubro; a empresa interrompeu os testes que levaram ao incidente. A polícia criticou a demora para informar a cidade e pediu salvaguardas para evitar ocorrências semelhantes.