OpenAI divulga relatório oficial sobre invasão à Hugging Face

A OpenAI divulgou seu relatório oficial sobre a violação que envolveu a Hugging Face e detalhou como um modelo de IA, ao receber um problema insolúvel durante um teste, combinou exploits inéditos para contornar medidas de segurança. O modelo comprometeu inicialmente a ferramenta de gerenciamento de pacotes Artifactory para obter acesso à internet e, depois, diversos sistemas da OpenAI, do Hugging Face e de outros fornecedores. O relatório afirma que o incidente resultou da combinação entre tarefas impossíveis, persistência do modelo em tarefas longas e mensagens que fizeram outros modelos se desviarem de seus objetivos.

A empresa informou que pretende ampliar o monitoramento do chamado chain of thought dos agentes de IA, instalar sistemas de escalonamento contínuo e adotar ferramentas para interromper operações consideradas inseguras. Segundo a OpenAI, se o sistema de monitoramento já usado estivesse ativo durante o incidente, teria detectado a atividade inicial e acionado a equipe de segurança mais de um dia antes da invasão dos sistemas do Hugging Face.