[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-outlier-tokens-diffusion-transformers-dsr-zh":3,"tags-outlier-tokens-diffusion-transformers-dsr-zh":34,"related-lang-outlier-tokens-diffusion-transformers-dsr-zh":46,"related-posts-outlier-tokens-diffusion-transformers-dsr-zh":50,"series-research-92510ea0-af04-4078-9e4f-ac4365a55e48":87},{"id":4,"title":5,"content":6,"summary":7,"source":8,"source_url":9,"author":10,"image_url":11,"keywords":12,"language":18,"translated_content":10,"views":19,"is_premium":20,"created_at":21,"updated_at":21,"cover_image":11,"published_at":22,"rewrite_status":23,"rewrite_error":10,"rewritten_from_id":24,"slug":25,"category":26,"related_article_id":27,"status":28,"google_indexed_at":29,"x_posted_at":10,"tweet_text":10,"title_rewritten_at":10,"title_original":10,"key_takeaways":30,"topic_cluster_id":10,"embedding":10,"is_canonical_seed":20},"92510ea0-af04-4078-9e4f-ac4365a55e48","DiT 的異常 token 怎麼救","\u003Cp data-speakable=\"summary\">這篇研究指出，Diffusion Transformer 裡的異常 \u003Ca href=\"\u002Ftag\u002Ftoken\">token\u003C\u002Fa> 會破壞生成品質，作者提出 Dual-Stage Registers 來同時處理編碼器和去噪器的問題。\u003C\u002Fp>\u003Cp>Diffusion Transformers，簡稱 DiTs，近年是影像生成的熱門架構之一。但這篇論文提醒一個很容易被忽略的痛點：模型裡少數 norm 特別大的 outlier tokens，可能會把注意力拉歪，進而讓生成結果出現瑕疵。換句話說，做 DiT 不只是在比模型大不大、資料多不多，token 在模型內部怎麼流動，也會直接影響成品質感。\u003C\u002Fp>\u003Cp>這篇論文是 \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2605.05206\">Taming Outlier Tokens in Diffusion Transformers\u003C\u002Fa>。它聚焦在基於 Representation Autoenc\u003Ca href=\"\u002Fnews\u002Fclaude-code-production-workflow-guide-zh\">ode\u003C\u002Fa>r，簡稱 RAE，的 DiT 管線，發現 outlier 不只出現在預訓練的 ViT encoder，也會出現在 DiT denoiser 本身。這代表問題不是某一個模組單獨出包，而是整條生成流程都可能被影響。\u003C\u002Fp>\u003Ch2>這篇在解什麼痛點\u003C\u002Fh2>\u003Cp>作者要處理的核心問題，是 outlier tokens。這些 token 的 norm 異常大，會吸走很多 att\u003Ca href=\"\u002Fnews\u002Fhow-to-build-agentic-rag-with-langgraph-zh\">enti\u003C\u002Fa>on，但它們本身攜帶的局部資訊卻不一定多。這種現象在 Vision Transformer 裡早就有人注意到，但過去多半是在辨識或表徵學習的脈絡下看待。這篇論文進一步問：如果同樣的現象發生在生成模型裡，會怎樣？\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778134864544-t1yt.png\" alt=\"DiT 的異常 token 怎麼救\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>答案是，影響不小。生成模型不像分類器只要最後判對就好，它需要在 denoising 過程中維持穩定的 token 互動。若少數 token 一直主導 attention，而且主導的理由不是內容本身，而是數值上特別大，那模型就可能把結構帶歪，最後生成出 artifacts，而不是乾淨的影像。\u003C\u002Fp>\u003Cp>更重要的是，這篇研究不是把 outlier 當成單點故障來看。它指出，在 RAE-DiT 管線裡，pretrained ViT encoder 可能先吐出帶有 outlier 特性的表示；進到 DiT denoiser 後，模型內部也可能在中間層長出自己的 outlier tokens。也就是說，上游一旦不穩，下游很可能跟著放大問題。\u003C\u002Fp>\u003Cp>這裡還有一個值得注意的負結果：單純把高 norm token mask 掉，並不會讓表現變好。這表示問題不是「抓幾個極端值刪掉」那麼簡單。作者的解讀比較像是，問題根源和局部 patch semantics 被污染有關，這比單純做 outlier clipping 更結構性。\u003C\u002Fp>\u003Ch2>方法到底怎麼運作\u003C\u002Fh2>\u003Cp>為了處理這個問題，論文提出 Dual-Stage Registers，簡稱 DSR。從名字就看得出來，它不是只修一段，而是同時動到兩個階段：encoder 和 denoiser。概念上，register tokens 被拿來當作干預手段，讓模型有一個額外的空間去吸收、轉移或重整那些容易失控的 token 行為。\u003C\u002Fp>\u003Cp>抽象內容提到 DSR 有三個部分。第一，當有訓練過的 registers 可用時，就直接使用。第二，如果沒有訓練好的 registers，系統會退回 recursive test-time registers。第三，還會加入 diffusion registers，專門處理 denoiser 端的穩定性。白話一點講，作者不是只想在輸入端做修補，而是想讓整個 token 流程在兩個關鍵階段都更穩。\u003C\u002Fp>\u003Cp>這個設計的工程意義很直接。如果 encoder 已經產生 outlier 表示，denoiser 接收到的輸入本來就不乾淨；如果 denoiser 自己又在中間層產生 outlier tokens，那它的內部 dynamics 也會把問題繼續放大。DSR 的想法，就是把這兩種來源一起管，不要只修一邊。\u003C\u002Fp>\u003Cp>從實作角度看，這種做法和「把壞 token 直接砍掉」不同。它比較像是在系統裡加入一個緩衝層或調節層，讓模型有機會把原本會失控的訊號導向比較穩定的路徑。這也是為\u003Ca href=\"\u002Fnews\u002Fwhy-openai-microsoft-breakup-good-for-everyone-zh\">什麼\u003C\u002Fa>論文把它叫做 dual-stage，而不是單純的 token filter。\u003C\u002Fp>\u003Ch2>論文實際證明了什麼\u003C\u002Fh2>\u003Cp>就 abstract 能確定的部分來看，作者觀察到 outlier token 現象同時存在於現代 RAE-DiT 管線的 encoder 與 denoiser。這一點很重要，因為它把問題從「前處理」或「中間層」的單一故障，提升成整條生成鏈的系統性問題。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778134848715-4z9n.png\" alt=\"DiT 的異常 token 怎麼救\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>論文也宣稱，這些介入方法可以持續減少 outlier artifacts，並改善 ImageNet 以及大規模 text-to-image 生成的品質。這代表 DSR 不是只在一個小場景裡有效，而是至少在 abstract 提到的幾個設定中都能看到正向效果。\u003C\u002Fp>\u003Cp>不過，這份來源沒有公開完整 benchmark 細節。沒有看到明確分數、百分比提升，或表格級別的比較結果，所以我們不能從 abstract 推斷改善幅度有多大。能確定的是方向：方法有效；不能確定的是規模：有多強。\u003C\u002Fp>\u003Cp>即便如此，這個結果還是有實際意義，因為論文不是只說「outlier 存在」。它還指出這些 outlier 會真的影響生成品質，而且可以透過 register-based 的方式被壓下來。對生成模型來說，能減少 artifact，本身就是很有價值的訊號。\u003C\u002Fp>\u003Cul>\u003Cli>Outlier tokens 同時出現在 ViT encoder 與 DiT denoiser。\u003C\u002Fli>\u003Cli>中間層特別容易長出內部 outlier tokens。\u003C\u002Fli>\u003Cli>單純 mask 高 norm token 並不能解決問題。\u003C\u002Fli>\u003Cli>DSR 用 register tokens 同時干預兩個階段。\u003C\u002Fli>\u003Cli>摘要宣稱能減少 artifacts，並改善 ImageNet 與 text-to-image 生成品質。\u003C\u002Fli>\u003C\u002Ful>\u003Ch2>對開發者有什麼影響\u003C\u002Fh2>\u003Cp>如果你在做影像生成，這篇論文提醒了一件事：模型內部的 token 行為，可能跟最終輸出一樣重要。很多時候我們只看 loss、看參數量、看資料規模，但這篇研究把焦點拉回到 token norm、attention 集中程度，以及 local patch semantics 有沒有在 pipeline 裡被破壞。\u003C\u002Fp>\u003Cp>對工程師來說，這也讓 registers 的角色變得更實際。過去 registers 常被看成 representation learning 的技巧；這篇論文則把它們拿來當生成管線的控制機制。也就是說，當 token semantics 開始漂移、token 互動變得不穩時，加入結構化 token，可能比粗暴地刪 token 更有效。\u003C\u002Fp>\u003Cp>但這篇摘要也留下不少實務上會在意的問題。它沒有說 DSR 的訓練成本是多少，也沒有說推論時的額外負擔。它沒有交代這方法對模型大小有多敏感，也沒有說離開 RAE-DiT 管線後還能不能用。換句話說，這是一個有方向感的修法，但還不是可以直接當成萬用補丁的結論。\u003C\u002Fp>\u003Cp>對團隊而言，這類結果比較像是設計提醒：如果你在做 DiT-based 系統，除了看 output 美不美，也要檢查 token 是否出現異常集中、encoder 是否已經把局部語意弄亂、denoiser 是否又把問題放大。這些內部病灶，可能就是 artifacts 的來源。\u003C\u002Fp>\u003Cp>這篇論文的價值，不只是提出一個新技巧，而是把一個很具體的 failure mode 說清楚。當 diffusion transformers 繼續往更大規模、更高品質的生成模型前進時，這類內部穩定性問題可能會越來越重要。對開發者來說，這是提醒，也是工具箱的擴充方向。\u003C\u002Fp>\u003Ch2>總結\u003C\u002Fh2>\u003Cp>這篇研究把 outlier tokens 從 ViT 的老問題，推進成 DiT 生成管線的實際風險。作者提出的 Dual-Stage Registers，目標是同時穩住 encoder 與 denoiser，讓生成過程少一點異常 token 造成的干擾。就 abstract 來看，方法確實朝著減少 artifacts、提升生成品質的方向前進。\u003C\u002Fp>\u003Cp>如果你正在看 Diffusion Transformer、RAE、或 register 這類設計，這篇論文值得記住的點很簡單：在生成模型裡，token 不只是資料的載體，它們本身也可能是失敗的來源。把這件事處理好，才有機會讓影像生成更穩、更乾淨。\u003C\u002Fp>","這篇論文指出，RAE-DiT 管線裡的異常 token 會干擾注意力並造成影像瑕疵，並提出 Dual-Stage Registers 來同時處理編碼器與去噪器的問題。","arxiv.org","https:\u002F\u002Farxiv.org\u002Fabs\u002F2605.05206",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778134864544-t1yt.png",[13,14,15,16,17],"Diffusion Transformers","outlier tokens","Dual-Stage Registers","Representation Autoencoder","Vision Transformer","zh",2,false,"2026-05-07T06:20:31.06396+00:00","2026-05-07T06:20:30.862+00:00","done","d6979e1c-45eb-4943-b33b-579b3e3e6524","outlier-tokens-diffusion-transformers-dsr-zh","research","25495601-69d8-42fa-868d-ccd71c6d1347","published","2026-05-07T09:00:18.124+00:00",[31,32,33],"Outlier tokens 不只出現在 ViT，也會影響 RAE-DiT 的 encoder 與 denoiser。","單純 mask 高 norm token 沒有效果，問題更像是局部語意被污染。","Dual-Stage Registers 透過雙階段介入來減少 artifacts，並改善生成品質。",[35,37,39,41,44],{"name":16,"slug":36},"representation-autoencoder",{"name":15,"slug":38},"dual-stage-registers",{"name":17,"slug":40},"vision-transformer",{"name":42,"slug":43},"diffusion transformers","diffusion-transformers",{"name":14,"slug":45},"outlier-tokens",{"id":27,"slug":47,"title":48,"language":49},"outlier-tokens-diffusion-transformers-dsr-en","Outlier Tokens in DiTs, and How DSR Fixes Them","en",[51,57,63,69,75,81],{"id":52,"slug":53,"title":54,"cover_image":55,"image_url":55,"created_at":56,"category":26},"667b72b6-e821-4d68-80a1-e03340bc85f1","turboquant-seo-shift-small-sites-zh","TurboQuant 與小站 SEO 變化","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778840440690-kcw9.png","2026-05-15T10:20:27.319472+00:00",{"id":58,"slug":59,"title":60,"cover_image":61,"image_url":61,"created_at":62,"category":26},"381fb6c6-6da7-4444-831f-8c5eed8d685c","turboquant-vllm-comparison-fp8-kv-cache-zh","TurboQuant 與 FP8 實測結果","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778839867551-4v9g.png","2026-05-15T10:10:36.034569+00:00",{"id":64,"slug":65,"title":66,"cover_image":67,"image_url":67,"created_at":68,"category":26},"c15f45ee-a548-4dbf-8152-91de159c1a11","llmbda-calculus-agent-safety-rules-zh","LLMbda 演算替 AI 代理人立安全規則","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778825503412-mlbf.png","2026-05-15T06:10:34.832664+00:00",{"id":70,"slug":71,"title":72,"cover_image":73,"image_url":73,"created_at":74,"category":26},"0c02225c-d6ff-44f8-bc92-884c8921c4a3","low-complexity-beamspace-denoiser-mmwave-mimo-zh","更簡單的毫米波波束域去噪器","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778814650361-xtc2.png","2026-05-15T03:10:30.06639+00:00",{"id":76,"slug":77,"title":78,"cover_image":79,"image_url":79,"created_at":80,"category":26},"9d27f967-62cc-433f-8cdb-9300937ade13","ai-benchmark-wins-cyber-scare-defenders-zh","為什麼 AI 基準賽在資安領域的勝利，應該讓防守方警醒","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778807450006-nofx.png","2026-05-15T01:10:29.379041+00:00",{"id":82,"slug":83,"title":84,"cover_image":85,"image_url":85,"created_at":86,"category":26},"bc402dc6-5da6-46fc-9d66-d09cb215f72b","why-linux-security-needs-patch-wave-mindset-zh","為什麼 Linux 安全需要「補丁浪潮」思維","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778741449813-s2wn.png","2026-05-14T06:50:24.052583+00:00",[88,93,98,103,108,113,118,123,128,133],{"id":89,"slug":90,"title":91,"created_at":92},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":94,"slug":95,"title":96,"created_at":97},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":99,"slug":100,"title":101,"created_at":102},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":104,"slug":105,"title":106,"created_at":107},"9f50561b-aebd-46ba-94a8-363198aa7091","openclaw-agents-manipulated-self-sabotage-zh","OpenClaw Agent 會自己搞砸自己","2026-03-28T03:03:18.786425+00:00",{"id":109,"slug":110,"title":111,"created_at":112},"11f22e92-7066-4978-a544-31f5f2156ec6","vega-learning-to-drive-with-natural-language-instructions-zh","Vega：使用自然語言指示進行自駕車控制","2026-03-28T14:54:04.847912+00:00",{"id":114,"slug":115,"title":116,"created_at":117},"a4c7cfec-8d0e-4fec-93cf-1b9699a530b8","drive-my-way-en-zh","Drive My Way：個性化自駕車風格的實現","2026-03-28T14:54:26.207495+00:00",{"id":119,"slug":120,"title":121,"created_at":122},"dec02f89-fd39-41ba-8e4d-11ede93a536d","training-knowledge-bases-with-writeback-rag-zh","用 WriteBack-RAG 強化知識庫提升檢索效能","2026-03-28T14:54:45.775606+00:00",{"id":124,"slug":125,"title":126,"created_at":127},"3886be5c-a137-40cc-b9e2-0bf18430c002","packforcing-efficient-long-video-generation-method-zh","PackForcing：短影片訓練也能生成長影片","2026-03-28T14:55:02.688141+00:00",{"id":129,"slug":130,"title":131,"created_at":132},"72b90667-d930-4cc9-8ced-aaa0f8968d44","pixelsmile-toward-fine-grained-facial-expression-editing-zh","PixelSmile：提升精細臉部表情編輯的新方法","2026-03-28T14:55:20.678181+00:00",{"id":134,"slug":135,"title":136,"created_at":137},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00"]