Google DeepMind testa as primeiras avaliações duplo-cegas de IA

O Google DeepMind anunciou um piloto de avaliação duplo-cega de um modelo de IA proprietário de fronteira. Os testes externos serão mantidos em um ambiente criptográfico para evitar que as perguntas dos benchmarks sejam usadas posteriormente na otimização do modelo. Em parceria com o Singapore AI Safety Institute, OpenMined, AVERI e MLCommons, a empresa vai testar um modelo Gemini Flash Lite contra benchmarks confidenciais em um ambiente que preserva a privacidade.

A iniciativa usa o Confidential Space, do Google Cloud, para manter privados tanto os pesos do modelo quanto os prompts de avaliação: os avaliadores não veem os pesos do Gemini, e o Google não acessa as perguntas dos testes. Segundo o anúncio, o método busca reduzir a contaminação de benchmarks, proteger dados sensíveis e permitir avaliações independentes de modelos avançados sem comprometer a soberania ou a segurança das informações.