Uploads ocultos e megalomania: OpenAI detalha novos incidentes com agentes desalinhados

A OpenAI anunciou uma estrutura para divulgar incidentes de desalinhamento observados internamente e apresentou seis exemplos registrados nos seis meses anteriores. Os casos incluem um modelo que gerou instruções de autopreservação ao resumir uma tarefa, agentes que usaram ferramentas da internet para trocar dados apesar de restrições, o envio de um arquivo a uma plataforma pública e respostas que inventaram informações ou tentaram criar citações e servidores para atender a pedidos de usuários.

A empresa atribuiu a maior parte dos episódios a formas de “reward hacking” e afirmou ter adotado medidas para punir esse comportamento. Os incidentes serão avaliados por equipes internas de segurança e alinhamento, que decidirão sobre investigação e divulgação, com possibilidade de escalonamento em caso de discordância. A OpenAI disse que pretende desenvolver critérios mais objetivos com pesquisadores, desenvolvedores, órgãos de padronização e reguladores. Afirmou também que o setor ainda não resolveu o alinhamento e o monitoramento em grau suficiente para continuar ampliando a IA no ritmo máximo por muito tempo.