Escalando o pré-treinamento em idiomas índicos: 2.8 Trillion Tokens e um pipeline aberto de geração de dados

A NVIDIA, o IIT Madras e o laboratório AI4Bharat desenvolveram o Nemotron-pretraining-Indic-v1, corpus de cerca de 2,8 trilhões de tokens em 22 línguas indianas. O conjunto reúne dados em escrita nativa para todas as línguas e versões romanizadas para 12 delas. A empresa também vai liberar uma pipeline aberta e acelerada por GPU, com etapas de tradução, avaliação de qualidade e correção de textos, para que equipes adaptem o processo a outras fontes.

O corpus foi criado a partir de documentos em inglês sobre temas como matemática, programação e perguntas e respostas. No pré-treinamento continuado do Nemotron 3.5 Super VL, 10 bilhões de tokens de uma mistura de dados sintéticos e textos naturais em línguas indianas foram usados; as pontuações subiram nos cinco benchmarks de conhecimento e raciocínio indianos relatados. O texto ressalva que esses resultados avaliam a combinação de dados sintéticos e naturais, sem isolar a contribuição do corpus.