返回首頁

標籤

anchored weight decay

2 篇文章

如何防止 LLM 微調災難性遺忘
技術研究/6月6日

如何防止 LLM 微調災難性遺忘

用 Anchored Weight Decay 在 LLM 微調時降低舊任務漂移，保住原有能力並檢查模型是否回復。

ES 微調忘記問題有解了
技術研究/6月5日

ES 微調忘記問題有解了

這篇論文指出，LLM 用 evolution strategies 微調時的「忘記」多半是可回復的漂移，靠 anchored weight decay 就能壓住。