Pesquisadores da ByteDance identificam causa de falhas na recuperação de contexto longo

Pesquisadores da equipe Seed, da ByteDance, identificaram um mecanismo por trás da inconsistência na recuperação de informações em contextos longos nos modelos da DeepSeek. O estudo constatou que a compressão fragmentada do cache de chaves e valores torna a precisão da recuperação sensível à posição da informação dentro de uma janela de compressão, com diferenças de até 40 pontos percentuais entre posições.

A técnica reduz os custos de memória e atenção ao comprimir grupos de tokens consecutivos em menos entradas de cache. Os pesquisadores reproduziram o comportamento em modelos treinados do zero e descobriram que diferentes componentes de atenção se especializam em recuperar informações de posições distintas. Segundo o estudo, isso explica como bons resultados médios em benchmarks podem ocultar fragilidades recorrentes na recuperação.