AutoSynthData: geração de dados de treinamento para agentes corporativos

A ServiceNow CoreAI desenvolveu o AutoSynthData para transformar falhas de modelos em dados de treinamento para agentes corporativos. A ferramenta usa avaliações do modelo-alvo e trajetórias bem-sucedidas de um professor mais forte para identificar lacunas de capacidade, gerar novas tarefas executáveis e adaptar o currículo à medida que o modelo melhora. Cada tarefa combina especificação do sistema, solicitação do usuário e verificador, com critérios de viabilidade, realismo, dificuldade e validação do resultado.

O processo ocorre em duas fases: criação de amostras centrais e expansão em variantes com diferentes solicitações, estados, entidades, combinações de ferramentas e níveis de dificuldade. As candidatas passam por execução, avaliação de solucionadores, verificação positiva e negativa, crítica e reparo. O sistema também analisa os lotes para acompanhar cobertura, diversidade e possíveis repetições, direcionando a geração para capacidades ainda pouco representadas. A abordagem é ilustrada com experimentos no EnterpriseOps Gym.