A equipe de pesquisa da Google anunciou o TurboQuant, uma técnica de compressão de memória de IA que reduz drasticamente a memória de trabalho necessária para inferência. Utilizando a quantização de vetores, o método pode reduzir o cache KV por pelo menos seis vezes sem prejudicar o desempenho. A inovação, comparada por alguns online à ferramenta de compressão fictícia "Pied Piper", será apresentada na conferência ICLR 2026. Embora ainda esteja em estágio laboratorial, o TurboQuant promete operação de IA mais barata e pode ajudar a resolver gargalos de memória em sistemas de IA. Leia mais →

A equipe de pesquisa do Google apresentou o TurboQuant, um novo algoritmo de compressão projetado para reduzir drasticamente a pegada de memória dos grandes modelos de linguagem (LLM) e aumentar a velocidade de inferência. Ao visar o cache de chave-valor, frequentemente descrito como uma espécie de "trapaça digital", o TurboQuant pode cortar o uso de memória em até seis vezes e entregar ganhos de desempenho de cerca de oito vezes sem sacrificar a qualidade do modelo. Leia mais →