標籤

distillation

蒸餾是把大型模型的推理能力、排序偏好或生成行為，轉移到較小模型的訓練方法。它常用於降低推論成本、縮短延遲，並讓 SLM 在重排、生成與跨架構對齊上更實用。

1 篇文章

讓小模型自己重排候選詞

技術研究/4月30日

讓小模型自己重排候選詞

S2T 讓小型語言模型先產生候選詞，再學會自己重排，不必每次都呼叫大型模型。