[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-sessa-attention-inside-state-space-memory-zh":3,"tags-sessa-attention-inside-state-space-memory-zh":31,"related-lang-sessa-attention-inside-state-space-memory-zh":43,"related-posts-sessa-attention-inside-state-space-memory-zh":47,"series-research-4700e9ba-80dd-47e9-9665-7461287fbbcb":84},{"id":4,"title":5,"content":6,"summary":7,"source":8,"source_url":9,"author":10,"image_url":11,"keywords":12,"language":19,"translated_content":10,"views":20,"is_premium":21,"created_at":22,"updated_at":22,"cover_image":11,"published_at":23,"rewrite_status":24,"rewrite_error":10,"rewritten_from_id":25,"slug":26,"category":27,"related_article_id":28,"status":29,"google_indexed_at":30,"x_posted_at":10,"tweet_text":10,"title_rewritten_at":10,"title_original":10,"key_takeaways":10,"topic_cluster_id":10,"embedding":10,"is_canonical_seed":21},"4700e9ba-80dd-47e9-9665-7461287fbbcb","Sessa 把注意力放進狀態空間記憶","\u003Cp>現代序列模型常卡在一個老問題：你要嘛選 Transformer 的直接回看，要嘛選 state-space model 的高效率傳遞，但兩邊都不完美。前者能看見很長的上下文，卻容易因為注意力太分散，讓舊 token 的影響被稀釋；後者傳遞資訊很省算力，卻可能在長距離後快速失去敏感度。\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2604.18580\">Sessa: Selective State Space Attention\u003C\u002Fa> 想做的，就是把這個兩難拆開重組。\u003C\u002Fp>\u003Cp>這篇摘要的核心訊息很直接：不要把 atte\u003Ca href=\"\u002Fnews\u002Fanthropic-800b-valuation-funding-zh\">nt\u003C\u002Fa>ion 當成一次性的查詢，而是把它放進回饋路徑裡，讓模型在時間推進時，還能持續挑選、混合、更新記憶。對做長上下文系統的開發者來說，這不是抽象的架構辯論，而是很實際的問題：怎麼讓舊資訊不會太快失效，又不用為了超長上下文付出整個巨型 attention window 的代價。\u003C\u002Fp>\u003Ch2>這篇論文在修什麼痛點\u003C\u002Fh2>\u003Cp>摘要先從 attention 的弱點切入。當 retrieval 不夠 sharp，注意力會變得很 diffuse，某個 token 的影響就會被平均掉。摘要用有效支撐集合大小 \u003Ci>S_eff(t)\u003C\u002Fi> 來描述這件事，意思是模型實際上雖然「看得到」很多位置，但真正分到單一 token 的權重可能很少。若是 full-prefix 的情境，老 token 的影響還可能掉到 O(1\u002Fℓ)，其中 ℓ 是距離現在的 lag。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1776751615013-ugp9.png\" alt=\"Sessa 把注意力放進狀態空間記憶\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>這種衰減對長上下文任務很傷。模型不是完全忘記，而是記得太淡。對使用者來說，結果常常就是：前面明明提過的條件，到了後面卻像沒說過一樣。摘要想解的，就是這種「看得到但不夠有用」的記憶稀釋問題。\u003C\u002Fp>\u003Cp>另一邊，structured state-space model 的問題則不同。它們靠顯式的 feedback p\u003Ca href=\"\u002Fnews\u002Fmathnet-benchmark-math-reasoning-retrieval-zh\">ath\u003C\u002Fa> 做 recurrent 傳遞，效率好很多；Selective 版本像 Mamba 還會讓回饋依輸入而變動，這確實更彈性。但摘要指出，當 freeze time 無法在長時間內維持時，長距離敏感度仍會以指數方式衰減。也就是說，這類模型雖然能傳很遠，但傳到後面還是可能變鈍。\u003C\u002Fp>\u003Cp>所以 Sessa 的定位，不是再做一個「更大的 Transformer」或「更快的 state-space」。它要補的是架構層級的缺口：Transformer 偏向一次讀取，state-space 偏向單一回饋鏈；Sessa 則想把注意力嵌進回饋過程，讓模型同時有檢索與持續更新的能力。\u003C\u002Fp>\u003Ch2>Sessa 到底怎麼運作\u003C\u002Fh2>\u003Cp>摘要裡最關鍵的一句話，是它把 attention 放進 feedback path。白話一點說，就是 attention 不再只是對過去做一次查找，而是變成記憶傳遞機制的一部分。模型在往前走的同時，也在用 attention 決定哪些資訊值得被帶著走。\u003C\u002Fp>\u003Cp>摘要把這種設計描述成「recurrent many-path aggregation within a layer」。這個說法很學術，但意思其實不難懂：資訊不是只能沿著單一路徑往前傳，而是能在同一層裡經由多條路徑被蒐集、混合、再送出去。這讓模型在保留舊訊號時，不必死守單一記憶槽。\u003C\u002Fp>\u003Cp>在理論上，摘要給出的結果是 power-law memory tail，對 lag ℓ 的衰減階數是 O(ℓ^-β)，而且 β 的範圍是 0 < β < 1。這個細節很重要，因為它代表老資訊的影響衰減得比 O(1\u002Fℓ) 還慢。換句話說，記憶不是一下子掉光，而是拖得更久，能在更長的時間尺度上維持可見度。\u003C\u002Fp>\u003Cp>摘要還補了一個更強的說法：在明確的 diffuse uniform-\u003Ca href=\"\u002Fnews\u002Fprompt-engineering-becoming-infrastructure-zh\">ro\u003C\u002Fa>uting 設定下，這個 rate 是 tight 的，影響會是 Θ(ℓ^-β)。這表示它不是只給出一個鬆散上界，而是說在某個具體路由情境裡，這種 power-law 行為真的會出現，而且跟理論預測對得上。\u003C\u002Fp>\u003Ch2>論文實際證明了什麼\u003C\u002Fh2>\u003Cp>這份摘要提供的證據分成兩塊：理論分析和實驗結果。理論上，它主張 Sessa 可以實現 power-law memory tails，而且這種衰減比 full-prefix attention 那種 O(1\u002Fℓ) 的老 token 行為更慢。這代表它不是只在「短時間內比較會記」，而是試圖改變記憶隨距離衰減的形狀。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1776751615865-imna.png\" alt=\"Sessa 把注意力放進狀態空間記憶\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>摘要還說，在同樣條件下，只有 Sessa 在比較的模型類別裡，能實現 flexible selective retrieval，包含 non-decaying profiles。這句話的分量不小。它不只是說 Sessa 記得比較久，而是說它能根據任務需要，調整保留曲線，甚至出現不衰減的型態。對架構設計來說，這是可表達性上的主張。\u003C\u002Fp>\u003Cp>實驗部分，摘要說在 matched architectures 與 training budgets 下，Sessa 在長上下文 benchmark 上拿到最強表現，同時在短上下文語言模型任務上，仍能和 Transformer 與 Mamba 類 baseline 保持競爭力。這是很有意義的訊號，因為很多長上下文模型常見的問題，就是長文表現上去後，短文能力跟著掉。\u003C\u002Fp>\u003Cp>但這裡也有明確限制：摘要沒有公開 benchmark 名稱，也沒有給出任何數字。也就是說，這篇摘要沒有公開完整 benchmark 細節。你目前只能知道它宣稱「表現最好」，卻還不能從摘要判斷領先幅度、任務組成、評估方式，或是不是特定超參數帶來的結果。\u003C\u002Fp>\u003Ch2>對開發者有什麼意義\u003C\u002Fh2>\u003Cp>如果你在做長上下文助理、檢索型 agent、文件摘要、程式碼理解，或任何需要跨很多 token 保持狀態的系統，這篇論文的價值不在於它是不是又一個新名詞，而在於它提供了一條不同的設計路線。它提醒我們，長距離記憶不一定只能靠更大 attention window，也不一定只能靠更深的 recurrent 傳遞。\u003C\u002Fp>\u003Cp>真正實用的模型，通常要同時解兩件事：第一，哪些資訊值得被留下；第二，留下之後能撐多久。Sessa 的想法是把這兩件事綁在同一個回饋機制裡。這讓它在概念上更接近「可選擇地記住」，而不是單純「盡量記住」。\u003C\u002Fp>\u003Cp>對工程端來說，這種設計如果真的成立，可能代表長上下文模型不必只靠暴力擴窗來換記憶。它也可能讓某些任務在不犧牲短上下文語言能力的前提下，獲得更穩的跨段落依賴追蹤。不過，摘要沒有提供推論成本、延遲、記憶體占用或實作複雜度，所以現在還不能直接推論它在 production 的代價。\u003C\u002Fp>\u003Cp>換句話說，Sessa 目前比較像一個值得注意的架構方向，而不是可以立刻替換現有系統的現成答案。它的訊號是：如果你的工作負載很在意長距離依賴，attention 和 state-space 可能不必二選一。\u003C\u002Fp>\u003Ch2>限制、空白與還不能下的結論\u003C\u002Fh2>\u003Cp>只看摘要，這篇論文還有不少關鍵資訊沒揭露。它沒有給 benchmark 名稱、資料集、模型規模、參數量、訓練成本，也沒有說推論速度如何。對實作的人來說，這些資訊都很重要，因為長上下文模型的價值，往往要和算力成本一起看。\u003C\u002Fp>\u003Cp>另外，理論上的 power-law memory tail 很吸引人，但理論記憶形狀不等於真實任務表現。模型能不能更會找回關鍵片段、能不能在複雜推理裡維持一致性、能不能在不同領域都穩定，摘要都還沒回答。也就是說，這篇摘要展示的是方向感，不是最終結論。\u003C\u002Fp>\u003Cp>不過，從研究脈絡來看，Sessa 的重點很清楚：如果 attention 太分散、state-space 又衰減太快，那就把 attention 放進 recurrence 裡，讓記憶的路徑變得可選擇、可調整，也更耐久。這不是小修小補，而是試著重新定義序列模型裡「記憶」的運作方式。\u003C\u002Fp>\u003Cul>\u003Cli>Transformer 的優勢是直接回看過去，但舊資訊容易被注意力稀釋。\u003C\u002Fli>\u003Cli>Selective state-space 的優勢是高效率回饋，但長距離敏感度仍可能快速下降。\u003C\u002Fli>\u003Cli>Sessa 想把 attention 變成回饋機制的一部分，目標是兼顧選擇性檢索與較慢的記憶衰減。\u003C\u002Fli>\u003C\u002Ful>\u003Cp>如果你正在觀察下一代長上下文架構，這篇值得放進清單。摘要已經給出理論上的記憶尾巴主張，也宣稱在長上下文 benchmark 上有最強表現；只是因為缺少完整數據，現在更適合把它視為一個強烈訊號，而不是已經定案的標準答案。\u003C\u002Fp>","Sessa 把 attention 放進 state-space 的回饋路徑，想同時保留長上下文檢索與穩定記憶。摘要主打 power-law 記憶尾巴，並宣稱長上下文 benchmark 表現領先。","arxiv.org","https:\u002F\u002Farxiv.org\u002Fabs\u002F2604.18580",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1776751615013-ugp9.png",[13,14,15,16,17,18],"state-space model","attention","long-context","memory decay","power-law","selective retrieval","zh",1,false,"2026-04-21T06:06:37.215599+00:00","2026-04-21T06:06:37.176+00:00","done","682397f2-f6e7-4cb3-8a03-36f84e0ea0e3","sessa-attention-inside-state-space-memory-zh","research","c1aac50e-0c41-471c-946e-329652f04565","published","2026-04-21T09:00:08.298+00:00",[32,33,35,37,39,42],{"name":17,"slug":17},{"name":16,"slug":34},"memory-decay",{"name":18,"slug":36},"selective-retrieval",{"name":38,"slug":15},"long context",{"name":40,"slug":41},"state space model","state-space-model",{"name":14,"slug":14},{"id":28,"slug":44,"title":45,"language":46},"sessa-attention-inside-state-space-memory-en","Sessa: Attention and State-Space Memory for Long Context","en",[48,54,60,66,72,78],{"id":49,"slug":50,"title":51,"cover_image":52,"image_url":52,"created_at":53,"category":27},"667b72b6-e821-4d68-80a1-e03340bc85f1","turboquant-seo-shift-small-sites-zh","TurboQuant 與小站 SEO 變化","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778840440690-kcw9.png","2026-05-15T10:20:27.319472+00:00",{"id":55,"slug":56,"title":57,"cover_image":58,"image_url":58,"created_at":59,"category":27},"381fb6c6-6da7-4444-831f-8c5eed8d685c","turboquant-vllm-comparison-fp8-kv-cache-zh","TurboQuant 與 FP8 實測結果","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778839867551-4v9g.png","2026-05-15T10:10:36.034569+00:00",{"id":61,"slug":62,"title":63,"cover_image":64,"image_url":64,"created_at":65,"category":27},"c15f45ee-a548-4dbf-8152-91de159c1a11","llmbda-calculus-agent-safety-rules-zh","LLMbda 演算替 AI 代理人立安全規則","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778825503412-mlbf.png","2026-05-15T06:10:34.832664+00:00",{"id":67,"slug":68,"title":69,"cover_image":70,"image_url":70,"created_at":71,"category":27},"0c02225c-d6ff-44f8-bc92-884c8921c4a3","low-complexity-beamspace-denoiser-mmwave-mimo-zh","更簡單的毫米波波束域去噪器","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778814650361-xtc2.png","2026-05-15T03:10:30.06639+00:00",{"id":73,"slug":74,"title":75,"cover_image":76,"image_url":76,"created_at":77,"category":27},"9d27f967-62cc-433f-8cdb-9300937ade13","ai-benchmark-wins-cyber-scare-defenders-zh","為什麼 AI 基準賽在資安領域的勝利，應該讓防守方警醒","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778807450006-nofx.png","2026-05-15T01:10:29.379041+00:00",{"id":79,"slug":80,"title":81,"cover_image":82,"image_url":82,"created_at":83,"category":27},"bc402dc6-5da6-46fc-9d66-d09cb215f72b","why-linux-security-needs-patch-wave-mindset-zh","為什麼 Linux 安全需要「補丁浪潮」思維","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778741449813-s2wn.png","2026-05-14T06:50:24.052583+00:00",[85,90,95,100,105,110,115,120,125,130],{"id":86,"slug":87,"title":88,"created_at":89},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":91,"slug":92,"title":93,"created_at":94},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":96,"slug":97,"title":98,"created_at":99},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":101,"slug":102,"title":103,"created_at":104},"9f50561b-aebd-46ba-94a8-363198aa7091","openclaw-agents-manipulated-self-sabotage-zh","OpenClaw Agent 會自己搞砸自己","2026-03-28T03:03:18.786425+00:00",{"id":106,"slug":107,"title":108,"created_at":109},"11f22e92-7066-4978-a544-31f5f2156ec6","vega-learning-to-drive-with-natural-language-instructions-zh","Vega：使用自然語言指示進行自駕車控制","2026-03-28T14:54:04.847912+00:00",{"id":111,"slug":112,"title":113,"created_at":114},"a4c7cfec-8d0e-4fec-93cf-1b9699a530b8","drive-my-way-en-zh","Drive My Way：個性化自駕車風格的實現","2026-03-28T14:54:26.207495+00:00",{"id":116,"slug":117,"title":118,"created_at":119},"dec02f89-fd39-41ba-8e4d-11ede93a536d","training-knowledge-bases-with-writeback-rag-zh","用 WriteBack-RAG 強化知識庫提升檢索效能","2026-03-28T14:54:45.775606+00:00",{"id":121,"slug":122,"title":123,"created_at":124},"3886be5c-a137-40cc-b9e2-0bf18430c002","packforcing-efficient-long-video-generation-method-zh","PackForcing：短影片訓練也能生成長影片","2026-03-28T14:55:02.688141+00:00",{"id":126,"slug":127,"title":128,"created_at":129},"72b90667-d930-4cc9-8ced-aaa0f8968d44","pixelsmile-toward-fine-grained-facial-expression-editing-zh","PixelSmile：提升精細臉部表情編輯的新方法","2026-03-28T14:55:20.678181+00:00",{"id":131,"slug":132,"title":133,"created_at":134},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00"]