Granite Switch 4.1: conversa, decisões e fala em um único endpoint

A IBM apresentou o Granite Switch 4.1, modelos que reúnem chat, tomada de decisões e transcrição de áudio em um único endpoint. As versões 8B e 30B incluem adaptadores para decisões gerais e tarefas de segurança, além do Granite-Speech-5.0-Turbo-CTC, descrito como o modelo de reconhecimento de fala mais rápido no OpenASR Leaderboard. A composição ocupa aproximadamente a mesma memória de GPU que o modelo-base sozinho, e o cache KV pode ser reutilizado entre adaptadores.

A empresa também mostrou uma demonstração que transcreve áudio, gera resumos, verifica conteúdo nocivo e testa outras sinalizações em tempo real. Os modelos podem ser personalizados com adaptadores das Granite Libraries. Em um teste de fluxo de trabalho RAG em cinco etapas, o Granite-Switch-4.1-30B concluiu a tarefa mais rápido que o Jev-27B. Um modelo customizado Granite Switch de 3 bilhões de parâmetros também jogou Doom a 60–100 decisões por segundo e podia narrar a partida e responder a perguntas.