開源 AI 軟體贏在基礎設施，不贏在話題

開源 AI 軟體已經成為訓練、推理、部署與工作流的核心基礎設施。

我認為，開源 AI 軟體正在贏，而且贏的不是話題，是基礎設施。從 PyTorch、TensorFlow 到 vLLM、llama.cpp、Ollama，再到 Hugging Face transformers、ONNX、LangChain，整個生態已經覆蓋模型訓練、推理服務、格式轉換、應用整合與代理工作流。這代表開源不再只是研究者的工具箱，而是團隊把 AI 從 demo 做成產品時，最先依賴的一層。

第一個論點：開源已經控制了 AI 堆疊的中間層

真正決定產品能不能上線的，不是模型名字有多響，而是中間層是否夠穩、夠快、夠便宜。vLLM 解決高吞吐推理，llama.cpp 讓本地推理成為現實，ONNX 讓模型在不同框架與硬體之間移轉，TensorRT-LLM 與 OpenVINO 則把效能榨到更接近硬體極限。這些工具不是邊角料，而是 AI 產品的管線。沒有這層，模型只能停在實驗室。

歷史已經證明，誰掌握中間層，誰就掌握生產標準。PyTorch 之所以成為研究預設，是因為它降低了實驗成本，之後又自然延伸到部署與工程流程；TensorFlow 也曾在大規模生產環境建立同樣的地位。這種路徑說明一件事：開源不是在跟閉源模型搶同一張舞台，而是在定義所有人都得遵守的接口。

第二個論點：開源把迭代速度變成競爭優勢

AI 的變化速度太快，快到封閉平台很難跟上團隊的真實需求。DeepSpeed、Horovod、scikit-learn、Hugging Face transformers 之所以被廣泛採用，不只是因為免費，而是因為它們讓團隊能在幾天內驗證想法，而不是等供應商排路線圖。對 AI 團隊來說，從想法到第一版原型的時間，就是學習速度；學習速度慢，產品窗口就會錯過。

具體來看，一個創業團隊可以把 Whisper 用在語音辨識、spaCy 用在文字處理、Stable Diffusion 用在生成，再用 ONNX 把不同模型與後端串起來，整個過程不必綁死在單一雲端 API。這種模組化帶來的不是方便而已，而是可替換性。當模型、成本或硬體條件改變時，團隊可以換零件，不必重做整套系統。這就是開源最強的商業價值：它把方向修正的成本壓低。

第三個論點：開源讓控制權回到使用者手上

AI 不只是效能問題，也是治理問題。當工具與模型開放，工程團隊可以檢查依賴、審視資料流向、確認哪些部分需要本地部署。這對金融、醫療、製造、政府等場景尤其重要，因為它們不能把敏感資料直接送進黑盒 API。llama.cpp、Ollama、OpenVINO 之所以重要，不是因為它們聽起來先進，而是因為它們把 AI 變成可控、可審計、可落地的基礎能力。

更現實的是，開源降低了平台鎖定風險。當供應商同時控制模型存取、推理價格與工作流工具時，你的產品毛利其實受制於別人的定價權。相反地，如果你的核心堆疊建立在開放元件上，你就能移轉工作負載、調整成本結構，甚至在必要時自建服務。這不是意識形態選擇，而是營運風險管理。

反方可能怎麼說

最強的反對意見其實很合理：前沿模型仍然主要掌握在閉源實驗室手裡，而且它們通常先拿到最好的 benchmark、最完整的託管服務，以及最成熟的開發者體驗。對很多公司來說，直接用 API 比自己拼推理層更快，也更省人力。大型企業尤其會在意支援、穩定性與合規責任，這些都可能讓閉源方案更有吸引力。

另一個現實問題是，開源生態確實碎片化。工具很多，重疊也多，團隊常常不是在做產品，而是在選框架、修整合、處理版本相容性。若公司沒有足夠強的平台工程能力，開源有時不是減少工作，而是把工作從「採購」變成「組裝」。

但這些批評並不足以推翻結論，因為它們談的是便利性，不是主導權。閉源模型可能贏得頭條與單次 benchmark，開源卻掌握了大多數價值真正被實現的生產層。只要團隊在意成本、延遲、可維護性與可移轉性，最後就會回到開源工具上。限制存在，但那是使用門檻，不是戰略失敗。

你能做什麼

如果你是工程師，先把 open format、開源推理工具與可替換的模型介面標準化，只有在真的需要時才接閉源 API。如果你是 PM，把開源 AI 視為預設方案，特別是那些會影響成本、延遲與合規的功能。如果你是創辦人，盡量把產品建立在可控的開源基礎設施上，避免 roadmap 被單一供應商的價格表綁架。真正聰明的做法，不是拒絕閉源模型，而是把最關鍵的那一層留在自己手上。