Escalonamento eficiente para clusters de GPUs

A equipe de infraestrutura de IA do Ai2 substituiu o escalonador por prioridades por um sistema que combina orçamentos de tempo de GPU, alocação hierárquica por participação justa e um contrato de execução. Cada projeto recebe uma parcela da capacidade definida por gestores, e as solicitações precisam ser vinculadas a um orçamento para ficarem protegidas contra interrupções. O modelo busca reduzir disputas por recursos, como cargas ociosas mantidas para reservar GPUs e o uso generalizado de prioridades altas, além de permitir que o escalonador redistribua a capacidade quando um grupo não a utiliza.

Pelo contrato, cada carga declara o tempo mínimo necessário para avançar; nesse período, não pode ser interrompida. Depois, pode continuar enquanto sua alocação tiver prioridade ou ser pausada e enfileirada novamente. Cargas sem tempo mínimo não consomem orçamento e podem ser interrompidas a qualquer momento. A equipe afirma que a mudança tornou possível recuperar capacidade ociosa e que um pesquisador percebeu a disponibilidade de mais computação com o novo sistema.