pretraining

Pion 用正交變換鎖住權重譜

Pion 是一種新的 LLM 優化器，改用左右正交變換更新權重，盡量保留奇異值不變。這篇論文主打的是訓練時維持矩陣譜結構，而不是只追求一般的加法式梯度更新。