返回首頁

標籤

記憶體瓶頸

2 篇文章

為什麼 TurboQuant 比模型大小更重要
技術研究/5月27日

為什麼 TurboQuant 比模型大小更重要

TurboQuant 之所以重要，不是因為模型更大，而是因為它直接壓低了決定本地 AI 表現的 KV cache 記憶體瓶頸。

為什麼 KV-cache 壓縮會決定邊緣 AI 推論
工具應用/5月20日

為什麼 KV-cache 壓縮會決定邊緣 AI 推論

我認為邊緣 AI 推論的勝負，不會先由算力決定，而是由 KV-cache 壓縮這個記憶體瓶頸決定。