O agente disse que terminou. O banco de dados discordou

A Microsoft e o Hugging Face apresentaram o ThinkingBox, benchmark que avalia agentes de IA pelos estados finais e pelos efeitos colaterais deixados em sistemas de backend, em vez de considerar apenas respostas e chamadas de ferramentas. O teste cobre 507 fluxos de trabalho empresariais, executados 20 vezes com cada modelo. Em uma análise de 121.680 tentativas válidas, 79.853 falharam nas verificações executáveis. Destas, 67,24% terminaram sem erro aparente, embora tivessem valores incorretos, efeitos extras ou efeitos obrigatórios ausentes.

Os resultados mostram a diferença entre realizar uma tarefa ao menos uma vez e repeti-la de forma consistente. Claude Opus 5.5 teve o maior pass@1 geral, com 67,16%, enquanto Kimi-K3 resolveu ao menos uma vez 476 das 507 tarefas, mas passou em todas as 20 tentativas em apenas 68. Claude Opus 5.5 e Claude Opus 5 passaram em 241 tarefas em todas as execuções. O estudo também calcula custos por tentativa bem-sucedida e por tarefa confiável e aponta o GPT-5.4 como o modelo com menor custo por tarefa aprovada nas 20 execuções entre os modelos com ao menos uma tarefa nesse critério.