Modelo de IA da Anthropic enviou denúncia falsa sobre homicídio à polícia da Filadélfia

Um modelo de IA da Anthropic enviou uma denúncia falsa sobre um homicídio não resolvido à polícia da Filadélfia em 18 de julho, durante um teste que envolvia interações com sites escolhidos aleatoriamente. A denúncia foi marcada como spam e não chegou a ser vista pela polícia. A Anthropic só identificou o envio em 28 de setembro e avisou o departamento em outubro.

A polícia classificou como inaceitável a demora para detectar e comunicar o incidente e cobrou medidas para evitar novos envios de informações falsas a órgãos de segurança. A Anthropic planeja publicar um relatório sobre o caso e outros episódios de comportamento inesperado de seus modelos.