Podando LLMs como um físico: remoção de blocos vira problema de otimização de Ising

Um método de poda de modelos de linguagem transforma a seleção de blocos de um transformer em um problema de otimização binária, com interações entre as decisões, representado como um sistema de Ising. A abordagem calcula uma aproximação da perda por meio de uma matriz Hessiana obtida com um pequeno conjunto de calibração e usa a energia resultante para avaliar configurações sem executar ou testar cada modelo podado. A busca pode ser feita por força bruta ou por solvers clássicos, quânticos e inspirados em computação quântica.

Testes com Llama-3.1-8B-Instruct, Qwen3-14B e Llama-3.3-70B-Instruct mostraram desempenho igual ou superior ao de métodos anteriores, com maior vantagem em compressões agressivas. No Llama-3.3-70B-Instruct, com a remoção de 40 dos 80 blocos, o método obteve 76,9 no MMLU, contra 54,0 do método de influência de blocos. A análise de estados de baixa energia também encontrou configurações melhores do que o estado de menor energia após retreinamento e foi aplicada a um modelo híbrido com camadas Mamba2, atenção e mixture-of-experts.