標籤

vector quantization

向量量化是把高維向量壓成更小表示的核心技術，常見於 LLM KV cache、向量搜尋與推論加速。近期焦點在 TurboQuant 這類線上量化方法，強調在 MSE、inner product 失真與記憶體成本之間取得更好的平衡。

2 篇文章

TurboQuant：線上向量量化更接近最優

TurboQuant 提出可線上運作、適合加速器的向量量化方法，主打 MSE 與 inner-product 失真都能逼近近似最優，並鎖定 KV cache 與向量搜尋場景。

Google 推出 TurboQuant，結合 QJL 與 PolarQuant，主打壓低 vector quantization 的記憶體開銷，並宣稱 LLM inference 最高可快 8 倍。