返回首頁

標籤

speculative decoding

2 篇文章

Gemma 4 助手模型加速草稿 Token
工具應用/5月9日

Gemma 4 助手模型加速草稿 Token

Gemma 4 的 E2B 與 E4B 助手模型用 centroid masking，把草稿 token 的 lm_head 計算量砍到約 45 倍，且品質損失很小。

SpecKV 讓推測解碼自動調 gamma
技術研究/5月5日

SpecKV 讓推測解碼自動調 gamma

SpecKV 把推測解碼的 token 預算改成逐步自動調整，利用 draft 模型訊號在不同壓縮設定下挑出更合適的 gamma。