mixture-of-experts

UniPool：共享 MoE 專家池

UniPool 把 MoE 的分層專家改成全域共享池，減少重複參數，並在五個 LLaMA 規模模型上改善驗證損失。