標籤
本地推理
3 篇文章

工具應用/6月10日
Ollama 是 2026 年真正適合工作的免費 AI 路徑
Ollama 是 2026 年最強的免費 AI 選擇,因為它把成本、隱私與使用上限從雲端限制,轉成一次買硬體、長期本地無限使用。

工具應用/5月23日
為什麼 llama.cpp 應把 TurboQuant 當成新預設路徑
TurboQuant 應成為 llama.cpp 的新預設思路,因為非對稱 KV 壓縮能大幅省記憶體,且不破壞既有相容性。

工具應用/5月23日
llama.cpp 把本地推理做進 C/C++
llama.cpp 強調在 C/C++ 中做本地 LLM 推理,支援多種硬體與 OpenAI 相容伺服器,適合離線、邊緣與隱私場景。