標籤
2 篇文章
vLLM 首次大規模比較 TurboQuant 與 FP8 KV-cache。結果很直白:FP8 在速度上更穩,TurboQuant 的高壓縮版本則常掉準確率。
Gemma 4 的 E2B 與 E4B 助手模型用 centroid masking,把草稿 token 的 lm_head 計算量砍到約 45 倍,且品質損失很小。