標籤
catastrophic forgetting
災難性遺忘描述模型在持續學習時，學新任務就快速失去舊知識的現象。它影響安全強化學習、長序列 4D 重建、線上適應與多階段訓練，關鍵在於如何保住既有能力又能吸收新資料。
4 篇文章
技術研究/6月6日
如何防止 LLM 微調災難性遺忘
用 Anchored Weight Decay 在 LLM 微調時降低舊任務漂移，保住原有能力並檢查模型是否回復。
技術研究/6月5日
ES 微調忘記問題有解了
這篇論文指出，LLM 用 evolution strategies 微調時的「忘記」多半是可回復的漂移，靠 anchored weight decay 就能壓住。
技術研究/4月22日
安全持續學習還沒解題
這篇 arXiv 研究把安全 RL 和持續 RL 放在一起看，指出環境一變，現有方法常常顧不了安全，也守不住舊行為。
技術研究/4月9日
長序列4D重建的彈性記憶法
FSM 用彈性 test-time training 穩住長序列 4D 重建的記憶更新，降低遺忘與記憶瓶頸，讓多 chunk 推論更可行。