RL 先接管再放手

這篇論文證明，RL 可以先借用可用的基線策略，再把控制權逐步交給學到的新策略。

• 研究機構：arXiv 摘要未明確標註
• 核心數據：摘要無公開 benchmark 數字
• 突破點：基線與學習策略仲裁

這篇論文處理的是一個很實際的 RL 痛點：不是模型不夠強，而是從零開始訓練太不穩。作者的想法很直接，如果你手上已經有一個能用的 policy，就不要把它整個丟掉，反而可以把它當成訓練的一部分，先保住表現，再慢慢把控制權交出去。

這不是單純的 warm start。它的重點在於訓練過程中有一個仲裁機制，會在基線策略和可訓練策略之間切換。早期靠基線撐住局面，後期再把主導權移給新學到的 policy，最後讓新模型脫離基線獨立運作。

這篇在解什麼問題

傳統 RL 很常從隨機 policy 開始，然後靠 reward 一點一點摸索。但在控制問題裡，這種做法常常太浪費。因為環境可能很脆弱，探索成本高，訓練還沒學到東西就先把系統搞亂。

作者鎖定的是另一種更常見的情境：你其實已經有一個可運作的控制器、heuristic，或舊模型。它不一定夠好，但至少能把 agent 帶到目標集合，甚至高機率維持在那裡。論文把這種 policy 稱為 functional baseline，也就是「能用，但還不夠好」。

這個切入點很有工程味。很多團隊不是沒有起點，而是有一個還行的起點，不知道怎麼安全地把它升級。這篇論文就是在回答這件事。

方法怎麼運作

核心概念是 arbitration，也就是仲裁。系統在每個步驟都要決定，現在是讓 baseline 出手，還是讓學習中的 policy 接手。早期訓練時，baseline 承擔大部分控制；隨著訓練進展，控制權逐步轉移到 learned policy。

這種設計的重點，不只是「讓模型看過好示範」，而是讓學習過程本身建立在比較穩的狀態上。因為 baseline 本來就能把 agent 留在 goal set 裡，學習 policy 就不必先從最基本的生存行為開始亂試，訓練會比較不脆弱。

論文標題裡的 agency-transferring，講的就是這個過程：不是直接複製一個舊策略，而是把舊策略當 scaffold，讓新策略在它的保護下逐步長出能力。等訓練完成後，baseline 會被完全移除，最後留下的是一個可以單獨運作的神經網路。

這個方法的直覺很像接班。不是叫新人一開始就全權負責，而是先讓舊人帶著做，等穩了再交棒。對 RL 來說，這樣可以把探索風險壓低，也比較不容易在訓練前期就把表現打爛。

論文實際證明了什麼

摘要裡的證據分成理論和實驗兩塊。理論上，作者形式化定義了 functional baseline，並在給定假設下分析訓練行為。更重要的是，他們把分析延伸到最後的 baseline-free 階段，還推導出 standalone learned policy 的 goal-reaching probability 下界。

這點很關鍵。很多混合式訓練方法在訓練期間看起來很穩，但一旦把外掛支援拿掉，表現就掉下來。這篇論文試圖回答的就是：學到的新 policy，最後到底能不能自己站住？作者的答案是，在他們的假設下，可以，而且有形式上的保證。

實驗部分則是在 continuous-control benchmarks 上做評估。不過摘要沒有公開 benchmark 名稱，也沒有給出具體分數，所以這篇摘要沒有公開完整 benchmark 細節。能引用的只有結論方向：回報表現和競爭方法相當或更好，而且在訓練全程，包含最後沒有 baseline 支援的階段，goal-reaching rate 都維持在比較高的水準。

這個結果的重點不只是「有提升」，而是「交棒後還能維持」。對實務來說，這比訓練中某一段時間的高分更重要，因為真正上線時，你要的是獨立 policy，不是靠外部保護撐出來的暫時表現。

對開發者有什麼影響

如果你做的是 robotics、控制，或任何已經有可用 policy 的場景，這篇論文提供的是一種更務實的訓練路線。你不一定要從零開始，也不一定要把舊控制器當成一次性過渡品。

更具體地說，原本的 controller 可以變成訓練基礎設施。它不只是初始值，而是訓練期間的保險。這可能帶來幾個直接好處：前期更穩、探索風險更低、goal-reaching 表現比較不會大起大落。

對工程團隊來說，這種設計也改變了思考方式。問題不再是「怎麼立刻取代 baseline」，而是「怎麼安全地把責任移交」。這在那些 unsafe exploration 成本很高的系統裡，特別有價值。

不過，這篇摘要也留下不少實作上會在意的空白。它沒有說清楚仲裁規則怎麼設計、理論假設是什麼、baseline 的品質要多好才有用，也沒有交代 baseline 是怎麼來的。這些都會影響方法能不能重現，以及能不能移植到別的任務。

目前還看不到的限制

從摘要能確定的是方向，不是完整配方。沒有 benchmark 名稱，就很難判斷方法到底在什麼難度的任務上成立。沒有數字，就很難知道提升幅度有多大。沒有仲裁細節，就很難評估訓練成本和實作複雜度。

另外，摘要也沒有說 baseline 如果只是勉強可用，方法還會不會有效。這很重要，因為現實世界裡很多舊系統都不是「很棒但不夠好」，而是「只能湊合」。如果 baseline 太弱，這套 transfer 機制可能就不一定能穩定啟動。

所以這篇論文目前最穩的結論，不是它已經證明某個大幅 SOTA 提升，而是它提出了一個很清楚的訓練框架：先讓可用的基線保住任務，再把控制權慢慢交給學習策略，最後得到一個能獨立運作的模型。

總結

這篇工作把 RL 的起手式改寫了。不是從零硬學，而是先借用一個能用的 policy，讓訓練站在比較穩的地基上，再逐步完成接棒。理論上，它給出 goal-reaching 的保證；實驗上，它聲稱能維持較高的 goal-reaching rate，且最後的 learned policy 可以單獨運作。

對開發者來說，這種方法最大的價值不只是成績，而是流程更像真實工程：先保住可用性，再追求更好的控制。當你手上已經有一個不差的 baseline，這篇論文提供了一條比從頭訓練更實際的路。

• 把可用 baseline 當成訓練支架
• 透過仲裁機制逐步移交控制權
• 強調最後的 standalone policy 仍要能獨立站穩