Diffusion Controller, do Google, unifica e simplifica a geração de imagens por IA

O Diffusion Controller, do Google Research, trata a geração de imagens como um problema contínuo de controle e usa uma rede leve acoplada ao modelo principal, que permanece congelado, para ajustar a trajetória de geração. O sistema busca melhorar o alinhamento aos prompts e às preferências do usuário sem comprometer a qualidade visual ou a estabilidade do modelo, inclusive em modelos fechados com acesso restrito.

Testado sobre o Stable Diffusion v1.4 em regimes de ajuste supervisionado, perda ponderada por recompensa e PPO, o método superou as linhas de base correspondentes. Em cenários de acesso gray-box, superou o LoRA nos testes de SFT e RWL com menos camadas internas, enquanto a versão com acesso white-box alcançou taxa de vitória de 90% contra o modelo-base. Um parâmetro de orientação permite aumentar ou reduzir a intensidade do controle durante a inferência.