標籤
本地推理
3 篇文章
工具應用/6月10日
Ollama 是 2026 年真正適合工作的免費 AI 路徑
Ollama 是 2026 年最強的免費 AI 選擇，因為它把成本、隱私與使用上限從雲端限制，轉成一次買硬體、長期本地無限使用。
工具應用/5月23日
為什麼 llama.cpp 應把 TurboQuant 當成新預設路徑
TurboQuant 應成為 llama.cpp 的新預設思路，因為非對稱 KV 壓縮能大幅省記憶體，且不破壞既有相容性。
工具應用/5月23日
llama.cpp 把本地推理做進 C/C++
llama.cpp 強調在 C/C++ 中做本地 LLM 推理，支援多種硬體與 OpenAI 相容伺服器，適合離線、邊緣與隱私場景。