Conheça o Olmo-core 3, infraestrutura aberta para treinar grandes MoEs

O Olmo-core 3 é uma atualização aberta do framework de desenvolvimento de modelos de linguagem, com um sistema redesenhado para treinar modelos de mistura de especialistas (MoE) em escala de até trilhões de parâmetros. Em um benchmark, o aumento do conjunto de especialistas de 8 para 128 elevou a capacidade total de 4,6 bilhões para 47 bilhões de parâmetros, com queda inferior a 5% no throughput e cerca de 3,2 bilhões de parâmetros ativos por token. Em oito GPUs NVIDIA B300, um MoE de 47 bilhões de parâmetros processou 52 mil tokens por segundo por GPU, contra 19,4 mil na implementação anterior.

O framework combina paralelismo de especialistas, de pipeline e de dados, além de otimizações para roteamento, computação e uso do formato MXFP8. Em testes, o MXFP8 aumentou o throughput em cerca de 21% e reduziu a memória ativa de 103 GiB para 95 GiB. O Olmo-core 3 também foi testado com um modelo de 1,2 trilhão de parâmetros em 512 GPUs e servirá de base para a próxima geração do Olmo, que usará uma arquitetura MoE.