[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-visual-pretraining-language-models-zh":3,"article-related-visual-pretraining-language-models-zh":30,"series-research-2ec5f4bf-f90a-4dc9-98e0-dc8189169e56":75},{"id":4,"slug":5,"title":6,"content":7,"summary":8,"source":9,"source_url":10,"author":11,"image_url":12,"cover_image":12,"category":13,"language":14,"translated_content":11,"related_article_id":15,"keywords":16,"key_takeaways":22,"views":26,"created_at":27,"published_at":28,"topic_cluster_id":29},"2ec5f4bf-f90a-4dc9-98e0-dc8189169e56","visual-pretraining-language-models-zh","視覺預訓練勝過純文字","\u003Cp data-speakable=\"summary\">視覺預訓練在相同語料上，跨骨幹與基準都比純文字預訓練更好。\u003C\u002Fp>\u003Cul>\u003Cli>\u003Cstrong>研究機構\u003C\u002Fstrong>：arXiv 摘要未明確標註\u003C\u002Fli>\u003Cli>\u003Cstrong>核心數據\u003C\u002Fstrong>：摘要無公開 benchmark 數字\u003C\u002Fli>\u003Cli>\u003Cstrong>突破點\u003C\u002Fstrong>：直接吃視覺文件\u003C\u002Fli>\u003C\u002Ful>\u003Cp>這篇論文的重點很直接：同一批語料，如果先保留文件的視覺形式來做預訓練，效果會比只抽成文字更好。它不是在談更大的模型，也不是靠更多資料取勝，而是改變資料進模型前的樣子。\u003C\u002Fp>\u003Cp>對做模型訓練的人來說，這個結論很刺眼。因為很多流程早就把 PDF、網頁、文件先抽文字，再丟進語言模型。這樣做很方便，但也可能把版面、表格、公式、對齊關係這些資訊一起丟掉。\u003C\u002Fp>\u003Ch2>這篇在解什麼痛點\u003C\u002Fh2>\u003Cp>目前不少 foundation model 的預訓練管線，預設就是 text-only。也就是說，原始資料明明是視覺豐富的文件，最後卻被壓平成純文字。這篇論文質疑的，就是這個預設。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783924384413-4ob9.png\" alt=\"視覺預訓練勝過純文字\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>作者想處理的問題，不是單純「文字夠不夠多」，而是「資訊在文件裡是怎麼長出來的」。有些內容的意義，跟版面有關。像是公式旁邊的說明、表格的欄列關係、段落與標題的層級，這些都不只是裝飾，而是訊號。\u003C\u002Fp>\u003Cp>如果只保留抽出來的文字，模型看到的是字串，不是文件。這會讓一些原本存在於視覺結構中的關聯消失。論文就是在問：既然資料本來就長這樣，為什麼一定要先把它拆平？\u003C\u002Fp>\u003Ch2>方法到底怎麼做\u003C\u002Fh2>\u003Cp>論文提出的是 unsupervised visual pretraining。白話講，就是不先把文件轉成文字，而是直接讓模型從視覺文件裡學。摘要裡沒有把完整架構拆得很細，但核心概念很清楚：保留文件原始的視覺形式，讓模型在預訓練階段就接觸到那些被文字抽取流程抹掉的訊息。\u003C\u002Fp>\u003Cp>這裡的關鍵不是「看圖片」而已，而是把文件當成\u003Ca href=\"\u002Fnews\u002Fone-api-gateway-turns-six-ai-apis-into-one-zh\">一個\u003C\u002Fa>帶有結構的視覺輸入。頁面上的排列、間距、對齊、區塊關係，理論上都可能成為學習訊號。這跟把文件壓成一串字，差很多。\u003C\u002Fp>\u003Cp>摘要也沒有說這是一個單一新架構。相反地，作者強調的是 systematic study，表示他們不是只做一個 demo，而是跨多個 backbone 和 \u003Ca href=\"\u002Ftag\u002Fbenchmark\">benchmark\u003C\u002Fa> 去看這種訓練法是否穩定有效。這讓它比較像一種訓練策略的證據，而不是某個特定模型的宣傳。\u003C\u002Fp>\u003Cp>這種寫法對研究和工程都重要。因為如果結果只在某一個特殊設定成立，參考價值就有限；但如果跨骨幹都能看到趨勢，那就比較像可以被搬進訓練流程的方向。\u003C\u002Fp>\u003Ch2>它實際證明了什麼\u003C\u002Fh2>\u003Cp>摘要最強的結論是比較結果：在相同的語料上，視覺預訓練會持續打敗純文字預訓練，而且這個趨勢出現在多個 backbone 與 benchmark 上。也就是說，\u003Ca href=\"\u002Fnews\u002Fbooz-allen-openai-deal-real-ai-advantage-zh\">優勢不是\u003C\u002Fa>來自資料量變多，而是來自資料表徵方式不同。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783924382494-s5c0.png\" alt=\"視覺預訓練勝過純文字\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>這個差異很關鍵。因為它代表模型可能真的有吃到文字抽取後看不到的訊息。換句話說，視覺形式本身，不只是輸入格式，它本身就是學習資源。\u003C\u002Fp>\u003Cp>不過，這篇摘要沒有公開完整 benchmark 細節，也沒有列出具體分數、提升幅度或測試任務名稱。所以我們只能確定它主張「穩定優於 text-only」，但不能從摘要本身判斷到底贏多少。\u003C\u002Fp>\u003Cp>這也是閱讀這類研究時要注意的地方。結論方向很明確，但如果沒有數字，就不能過度延伸成「大幅領先」或「已經解決某個任務」。摘要能支持的，只是它在多個評估上都比純文字訓練更好。\u003C\u002Fp>\u003Ch2>對開發者有什麼影響\u003C\u002Fh2>\u003Cp>如果你在做資料管線，這篇論文傳達的訊息很實際：前處理不是中性的。把文件先抽成文字，雖然省事，但可能把模型最需要的結構訊號也一起刪掉。對文件密集的場景，這件事尤其值得重新評估。\u003C\u002Fp>\u003Cp>像是科研論文、使用手冊、表單、簡報、技術文件，這些資料本來就高度依賴版面和視覺組織。對這類資料來說，視覺預訓練可能比純文字更能保留原始資訊。至少從這篇摘要看，作者就是在這個方向上找到了更好的結果。\u003C\u002Fp>\u003Cp>但工程面也有現實問題。摘要沒有交代視覺預訓練的成本、吞吐量、訓練效率，或是和 text-only 相比的資源消耗。也就是說，雖然結果更好，但還不知道這個好處要付出多少算力代價。\u003C\u002Fp>\u003Cp>另外，摘要也沒有說它在不同資料配比下是否穩定。這很重要。因為真正落地時，資料來源通常很雜，不一定每份文件都適合直接吃視覺輸入。要把這個方法\u003Ca href=\"\u002Fnews\u002Fuae-web3-setup-crypto-rules-checklist-zh\">變成\u003C\u002Fa>可用的訓練流程，還需要更多細節。\u003C\u002Fp>\u003Ch2>這篇研究的限制\u003C\u002Fh2>\u003Cp>第一個限制很明顯：我們目前只看到摘要。摘要告訴我們趨勢，但沒有完整實驗表。沒有數字，就很難精準比較，也無法判斷提升幅度是否足以抵銷額外成本。\u003C\u002Fp>\u003Cp>第二個限制是，摘要沒有明確標註研究機構。這表示我們無法從來源直接知道是哪個團隊主導，也不能延伸去猜測背後的產品或研究路線。\u003C\u002Fp>\u003Cp>第三個限制是方法細節不完整。摘要只說是 unsupervised visual pretraining，並強調不需要 text extraction，但沒有把視覺編碼器、訓練目標、資料格式或 pipeline 細節完整展開。對實作來說，這些都會影響能不能重現。\u003C\u002Fp>\u003Cp>所以，這篇論文比較適合被讀成一個方向性訊號：如果你的語料本來就是文件、頁面、版面內容，先把它壓成文字不一定是最佳解。視覺資訊可能真的有用，而且不只是輔助，而是能直接拉高預訓練效果。\u003C\u002Fp>\u003Ch2>OraCore 會怎麼看這件事\u003C\u002Fh2>\u003Cp>這篇研究最值得注意的，不是它又做出一個新模型，而是它把一個大家常忽略的假設翻出來：語言模型一定要先看文字嗎？作者的答案是，不一定。至少在這份摘要所描述的條件下，保留視覺文件反而更好。\u003C\u002Fp>\u003Cp>對\u003Ca href=\"\u002Ftag\u002F台灣開發者\">台灣開發者\u003C\u002Fa>來說，這代表一個很實際的選擇題。當你的資料來源不是乾淨文本，而是大量文件與網頁時，預處理流程可能不是越簡單越好。你省下來的抽取成本，可能會換掉模型本來能學到的結構資訊。\u003C\u002Fp>\u003Cp>當然，這還不是一個可以直接抄進 production 的完整 recipe。因為摘要沒有給出 benchmark 數字，也沒有交代計算成本。但它已經足夠提醒大家：在語言模型訓練裡，資料長什麼樣子，可能跟資料內容本身一樣重要。\u003C\u002Fp>\u003Cul>\u003Cli>視覺結構可能包含文字抽取會丟失的訊號。\u003C\u002Fli>\u003Cli>摘要主張跨骨幹、跨 benchmark 都優於純文字預訓練，但沒有公開數字。\u003C\u002Fli>\u003Cli>對文件型資料管線來說，是否先抽文字，值得重新評估。\u003C\u002Fli>\u003C\u002Ful>","視覺預訓練在相同語料上，跨骨幹與基準都比純文字預訓練更好。","arxiv.org","https:\u002F\u002Farxiv.org\u002Fabs\u002F2607.09657",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783924384413-4ob9.png","research","zh","ea29ba1b-1436-4f05-9809-f1108d957877",[17,18,19,20,21],"visual pretraining","language models","document understanding","unsupervised learning","text extraction",[23,24,25],"視覺預訓練在相同語料上優於純文字預訓練。","摘要沒有公開 benchmark 數字與完整實驗細節。","對文件型資料，保留視覺結構可能比抽文字更有利。",0,"2026-07-13T06:32:35.520894+00:00","2026-07-13T06:32:35.498+00:00","b0915cfc-b95b-4703-8548-f2e70ad06304",{"tags":31,"relatedLang":34,"relatedPosts":38},[32],{"name":18,"slug":33},"language-models",{"id":15,"slug":35,"title":36,"language":37},"visual-pretraining-language-models-en","Visual Pretraining Beats Text-Only in Language Models","en",[39,45,51,57,63,69],{"id":40,"slug":41,"title":42,"cover_image":43,"image_url":43,"created_at":44,"category":13},"a1c5b218-d9ff-4e46-9c58-07d0fe5152fc","vlm-accuracy-visual-cognitive-errors-decade-zh","VLM 描述複雜場景變準了","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783926189859-c95z.png","2026-07-13T07:02:36.585294+00:00",{"id":46,"slug":47,"title":48,"cover_image":49,"image_url":49,"created_at":50,"category":13},"8b8f7b87-7e93-415f-a52d-56613e17b278","phinn-eeg-topology-dream-state-eeg-zh","PHINN-EEG 用拓撲看夢境 EEG","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783922588253-kq48.png","2026-07-13T06:02:34.287269+00:00",{"id":52,"slug":53,"title":54,"cover_image":55,"image_url":55,"created_at":56,"category":13},"c4597538-217d-4b81-83d0-9b3cc4153861","google-android-bench-update-gemini-gap-zh","Android Bench 更新，Gemini 掉到第五","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783906366388-1v3j.png","2026-07-13T01:32:25.247653+00:00",{"id":58,"slug":59,"title":60,"cover_image":61,"image_url":61,"created_at":62,"category":13},"f25ed4f5-db61-4d8c-bc59-e80c93e27927","llm-benchmarks-not-enough-2026-zh","2026 年挑 LLM，別再把 benchmark 當答案","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783818161840-t0n4.png","2026-07-12T01:02:19.419242+00:00",{"id":64,"slug":65,"title":66,"cover_image":67,"image_url":67,"created_at":68,"category":13},"35378c9f-bc39-4cc0-b9e1-1ce4a746ba5b","rust-breaks-into-tiobe-top-10-zh","Rust 進入 TIOBE 前十的判讀筆記","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783816365723-zjl1.png","2026-07-12T00:32:23.969578+00:00",{"id":70,"slug":71,"title":72,"cover_image":73,"image_url":73,"created_at":74,"category":13},"48d2bd0a-8140-4bda-8a04-8523145b3197","ai-ransomware-still-needs-a-human-bottleneck-zh","AI勒索仍卡在人手瓶頸","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783800203353-1ntk.png","2026-07-11T20:02:52.10043+00:00",[76,81,86,91,96,101,106,111,116,121],{"id":77,"slug":78,"title":79,"created_at":80},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":82,"slug":83,"title":84,"created_at":85},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":87,"slug":88,"title":89,"created_at":90},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":92,"slug":93,"title":94,"created_at":95},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00",{"id":97,"slug":98,"title":99,"created_at":100},"53a0dc54-0371-4e40-8d5e-74e94a73840c","geometry-aware-similarity-metrics-for-neural-representations-zh","超越距離測量：用微分幾何重新理解神經網路","2026-03-31T06:01:01.241968+00:00",{"id":102,"slug":103,"title":104,"created_at":105},"fee7d472-a775-4b1d-bbc2-1e8bca1bbf8b","on-the-fly-repulsion-in-the-contextual-space-for-rich-divers-zh","讓AI繪圖更有創意：用排斥力提升生成多樣性","2026-03-31T06:01:25.439673+00:00",{"id":107,"slug":108,"title":109,"created_at":110},"a9901203-d69b-447b-8854-15d14eab32b4","vision-aided-beam-prediction-cnn-eca-zh","影像輔助波束預測升級 CNN","2026-04-01T10:00:25.8073+00:00",{"id":112,"slug":113,"title":114,"created_at":115},"b55e7dd4-0a24-4b3d-804d-b0309a03f498","triple-band-fss-mimo-antenna-sub-6-ghz-zh","三頻 FSS MIMO 天線瞄準 sub-6 GHz","2026-04-01T13:18:36.857305+00:00",{"id":117,"slug":118,"title":119,"created_at":120},"f68290bd-e7f3-4b30-ba22-dcd4e0130a66","openclaw-1299-repos-eight-weeks-analysis-zh","OpenClaw 1299 個 Repo 的資料解讀","2026-04-02T05:03:45.208411+00:00",{"id":122,"slug":123,"title":124,"created_at":125},"ed9f80eb-eb02-4d35-8ad4-0ddf428751dd","beam-coherence-aware-combining-mmwave-mimo-zh","毫米波 MIMO 的雙階合併法","2026-04-02T05:27:26.897188+00:00"]