Nova técnica da OpenAI pode tornar seus modelos mais difíceis de monitorar

A OpenAI pretende usar no modelo Astra uma técnica de raciocínio chamada “recurrent depth” ou “recorrência opaca”, que permite processamento recorrente além da sequência convencional de etapas. Especialistas em segurança de IA temem que o método dificulte o monitoramento da cadeia de pensamento e a identificação de comportamentos perigosos ou sinais de desalinhamento.

Segundo as informações disponíveis, o uso da técnica no Astra será limitado, e a cadeia de pensamento deverá continuar legível. A OpenAI rejeitou a possibilidade de um processamento completamente inacessível e afirmou ter planos para desenvolver sistemas de monitoramento da cadeia de pensamento. A preocupação é que versões futuras ampliem a recorrência e tornem os processos internos dos modelos mais difíceis de acompanhar.