weight decay

為何 embedding LR 決定 μP 轉移

這篇論文指出，μP 比標準參數化更會轉移，關鍵不是整套方法本身，而是 embedding layer 的學習率設定。