O que está por trás dos últimos alertas de catástrofe da indústria de IA?

A discussão mais recente sobre o risco existencial da inteligência artificial ganhou força após o pesquisador Jacob Coxon deixar a Anthropic e dizer que as principais empresas de IA estavam “apostando com nossas vidas”. O líder de alinhamento da Anthropic afirmou que a IA poderia matar toda a humanidade e estimou uma chance superior a 10% disso ocorrer na próxima década. No podcast Equity, os participantes debateram se esses alertas refletem preocupações genuínas, uma forma de destacar a capacidade dos modelos ou interesses ligados à possível abertura de capital da Anthropic.

A conversa também abordou sinais de que as empresas talvez não tenham controle total sobre seus modelos e agentes, além dos possíveis efeitos da linguagem apocalíptica sobre documentos da empresa. Para Anthony Ha, o foco excessivo em cenários de extinção pode desviar a atenção de danos mais imediatos relacionados ao trabalho, ao meio ambiente e ao clima, embora todos esses riscos devessem ser discutidos e considerados em medidas regulatórias e de segurança.