返回首頁

標籤

LLM 推理

2 篇文章

TurboQuant 與 FP8 實測結果
技術研究/5月15日

TurboQuant 與 FP8 實測結果

vLLM 首次大規模比較 TurboQuant 與 FP8 KV-cache。結果很直白：FP8 在速度上更穩，TurboQuant 的高壓縮版本則常掉準確率。

Gemma 4 助手模型加速草稿 Token
工具應用/5月9日

Gemma 4 助手模型加速草稿 Token

Gemma 4 的 E2B 與 E4B 助手模型用 centroid masking，把草稿 token 的 lm_head 計算量砍到約 45 倍，且品質損失很小。