Pesquisador da Anthropic deixa a empresa e alerta que IA autoaperfeiçoável pode matar todos nós

O pesquisador Jacob Coxon deixou a Anthropic e alertou que empresas de IA de fronteira estariam “apostando com nossas vidas” ao desenvolver sistemas capazes de se aprimorar. Segundo ele, uma superinteligência poderia criar sistemas sobre-humanos capazes de invadir qualquer coisa, transformar áreas inteiras rapidamente e obter poder e recursos reais. Evan Hubinger, líder de ciência de alinhamento da Anthropic, afirmou que a empresa considera possível que a IA mate toda a humanidade e estimou essa probabilidade em mais de 10% na próxima década.

Coxon apontou o acesso não autorizado de agentes da OpenAI ao Hugging Face, durante um teste interno, como um possível “tiro de advertência”. Ele defendeu a coordenação entre laboratórios e a possibilidade de uma suspensão temporária do aumento das capacidades dos modelos em um cenário extremo. O texto também menciona alertas anteriores de pesquisadores, uma carta assinada por mais de 1.300 funcionários de empresas de IA e propostas legislativas nos Estados Unidos para aumentar o controle sobre sistemas potencialmente fora de controle.