[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-llms-for-asr-evaluation-beyond-wer-zh":3,"tags-llms-for-asr-evaluation-beyond-wer-zh":30,"related-lang-llms-for-asr-evaluation-beyond-wer-zh":40,"related-posts-llms-for-asr-evaluation-beyond-wer-zh":44,"series-research-b41b3999-fa8c-4e87-8914-4ed027fe8bfe":81},{"id":4,"title":5,"content":6,"summary":7,"source":8,"source_url":9,"author":10,"image_url":11,"keywords":12,"language":18,"translated_content":10,"views":19,"is_premium":20,"created_at":21,"updated_at":21,"cover_image":11,"published_at":22,"rewrite_status":23,"rewrite_error":10,"rewritten_from_id":24,"slug":25,"category":26,"related_article_id":27,"status":28,"google_indexed_at":29,"x_posted_at":10,"tweet_text":10,"title_rewritten_at":10,"title_original":10,"key_takeaways":10,"topic_cluster_id":10,"embedding":10,"is_canonical_seed":20},"b41b3999-fa8c-4e87-8914-4ed027fe8bfe","LLM 評測 ASR 不只看 WER","\u003Cp>自動語音辨識（ASR）做得好不好，很多團隊第一眼還是看 WER。問題是，WER 只管字對不對，不管意思有沒有被保住。這篇論文 \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2604.21928\">Evaluation of Automatic Speech Recognition Using Generative Large Language Models\u003C\u002Fa>，就是在問一個很實際的問題：生成式 LLM 能不能比 WER 更像人類一樣，判斷 ASR 輸出品質？\u003C\u002Fp>\u003Cp>從摘要來看，答案是可以，而且在作者測的\u003Ca href=\"\u002Fnews\u002Ftask-boundaries-can-skew-continual-learning-results-zh\">任務\u003C\u002Fa>裡表現不錯。研究把 dec\u003Ca href=\"\u002Fnews\u002Fwhy-enterprises-should-stop-treating-codex-like-a-pilot-proj-zh\">ode\u003C\u002Fa>r-based LLM 拿來做 ASR 評測，分成三條路線：二選一比較兩個候選轉錄、用 generative embeddings 算語意距離、以及做錯誤類型分類。對做語音產品、\u003Ca href=\"\u002Fnews\u002Fteaching-video-models-understand-time-zh\">模型\u003C\u002Fa>比較或離線評估的人來說，這件事很重要，因為你選的指標，會直接影響你以為模型到底有沒有進步。\u003C\u002Fp>\u003Cp>這篇不是在說 WER 沒用。比較準確的說法是，WER 太粗。當你在乎的是使用者到底有沒有聽懂、摘要系統能不能接住語意、或語音助理有沒有抓到意圖時，只看字面差異常常不夠。這也是這篇論文想補上的洞。\u003C\u002Fp>\u003Ch2>這篇論文想解的痛點\u003C\u002Fh2>\u003Cp>WER 會算字詞替換、刪除、插入，優點是簡單、好算、大家都懂。但它的核心弱點也很明顯：它對語意不敏感。兩段轉錄可能 WER 一樣，卻一段保住了原意，另一段把意思整個帶歪。對人來說，這兩者顯然不是同一回事；但對 WER 來說，可能差不多。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1777010993292-cy1y.png\" alt=\"LLM 評測 ASR 不只看 WER\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>這就讓 ASR 評測卡住了。你如果只用 WER 來做回歸測試、比較解碼策略，或判斷某個改動有沒有提升產品品質，很容易把優化方向帶偏。模型也許在表面字串上變好了，但使用者實際感受到的品質不一定有跟著變。\u003C\u002Fp>\u003Cp>作者提到，過去研究已經開始往 embedding-based 的語意評分走，希望比較的是「意思」而不是「字面重疊」。不過，decoder-based LLM 在這個角色上其實還沒被充分探索。也就是說，大家知道只看 WER 不夠，但還沒有完整驗證：生成式 LLM 能不能直接拿來當評測器，而且真的更貼近人類判斷。\u003C\u002Fp>\u003Cp>這不是純學術問題。對開發者來說，評測方式會影響模型選型、資料標註、錯誤分析，甚至 CI 裡的自動化門檻。指標如果沒對準人類感知，最後可能是在優化一個不重要的數字。\u003C\u002Fp>\u003Ch2>方法到底怎麼運作\u003C\u002Fh2>\u003Cp>這篇論文沒有把方法寫成一套單一框架，而是從三個角度看 decoder-based LLM 能不能做 ASR 評測。\u003C\u002Fp>\u003Cp>第一種是二選一判斷。給模型兩個 ASR 候選轉錄，讓它選出更接近原始語音的一個。這是最直觀的測法，也最接近人類在做比較時的方式：哪一個比較像原本說的話？\u003C\u002Fp>\u003Cp>第二種是用 generative embeddings 來算語意距離。這裡的重點不是字對字比對，而是看模型內部表徵能不能反映兩段輸出的語意接近程度。論文把這種做法拿去和 encoder-based approaches、以及其他 semantic metrics 比較。\u003C\u002Fp>\u003Cp>第三種是錯誤分類。也就是不只給分，還試著標出錯在哪裡。這對工程上很有價值，因為它讓評測不再只是單一分數，而是可以往可解釋、可操作的方向走。\u003C\u002Fp>\u003Cp>摘要沒有交代太多實作細節，例如 prompt 怎麼設計、解碼設定是什麼、評測流程怎麼跑，除了提到 HATS dataset 之外，也沒有把完整 protocol 全部展開。所以就摘要本身來看，方法方向很清楚，但還不足以重建所有細節。\u003C\u002Fp>\u003Ch2>論文實際證明了什麼\u003C\u002Fh2>\u003Cp>最明確的結果出現在二選一任務。作者在 HATS dataset 上測試後發現，表現最好的 LLM 跟人工標註者的一致率達到 92–94%。同一個任務裡，WER 的一致率只有 63%。摘要也指出，這些 LLM 在這個任務上還贏過 semantic metrics。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1777011004529-kvty.png\" alt=\"LLM 評測 ASR 不只看 WER\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>這個差距很關鍵。因為它不是在比一個抽象分數，而是在比「誰比較像人」。如果一個評測方法更常和人類判斷一致，那它就更可能反映真實使用感受。從這個角度看，LLM-based 評測至少在這個任務上，比 WER 更接近人類直覺。\u003C\u002Fp>\u003Cp>第二個結果是 embeddings。摘要說，decoder-based LLM 的 embeddings 表現和 encoder models 相當。這點有意思，因為 decoder 模型通常被看成生成器，不是特徵抽取器。這篇論文的訊息是：你不一定得另外準備一套 encoder-only 系統，decoder 模型也能提供有用的語意訊號。\u003C\u002Fp>\u003Cp>第三個結果比較偏方向性。作者認為，LLM 有潛力做出更具解釋性、也更語意導向的 ASR 評測。摘要沒有提供錯誤分類任務的數字，所以這部分不能硬說有多強，只能說它被提出為一條值得走的路。\u003C\u002Fp>\u003Cul>\u003Cli>HATS 二選一任務：最佳 LLM 與人工標註一致率達 92–94%\u003C\u002Fli>\u003Cli>同任務的 WER 一致率：63%\u003C\u002Fli>\u003Cli>最佳 LLM 在二選一任務上也優於 semantic metrics\u003C\u002Fli>\u003Cli>decoder-based LLM embeddings：表現可與 encoder models 相比\u003C\u002Fli>\u003C\u002Ful>\u003Ch2>對開發者有什麼影響\u003C\u002Fh2>\u003Cp>如果你在做語音功能，評測指標其實會決定你怎麼看待產品。WER 仍然有用，尤其適合做基本回歸、版本比較、或快速看模型整體有沒有退步。但當你在乎的是語意有沒有保住，WER 就不夠了。\u003C\u002Fp>\u003Cp>這篇論文的實務訊號是：生成式 LLM 可以成為 ASR 評測堆疊的一部分。它不一定要取代 WER，而是補上語意那一層。像對話式助理、語音搜尋、或任何後面還要接摘要、分類、檢索的流程，語意評分都可能比純字詞對齊更有意義。\u003C\u002Fp>\u003Cp>另一個對工程團隊很實際的點，是錯誤分析。當模型不只會打分，還能幫你分類錯誤時，你比較容易看出問題是替換、刪除、還是更深層的語意偏移。這會影響你要補資料、改解碼、還是做後處理。\u003C\u002Fp>\u003Cp>但這裡也要講清楚：摘要沒有說明這套方法的推論成本、穩定性、或是否容易重現。對真正在 pipeline 裡落地的團隊來說，這些都很重要。評測工具不只要準，還要便宜、可重複、可控，才有機會進 CI 或大規模實驗流程。\u003C\u002Fp>\u003Ch2>限制與還沒回答的問題\u003C\u002Fh2>\u003Cp>先講最直接的限制：摘要只提到 HATS 這一個資料集。這代表目前能公開看到的數字，還不足以證明它在更多場景都一樣成立。跨資料集、跨語言、跨任務的穩定性，摘要裡都沒有展開。\u003C\u002Fp>\u003Cp>第二個限制是，摘要沒有提供完整 benchmark 細節。像是測了哪些 LLM、prompt 怎麼寫、評分是否穩定、不同模型之間差距多大，這些都沒有在摘要中公開。也就是說，結果雖然亮眼，但還不能直接拿摘要內容當成完整落地方案。\u003C\u002Fp>\u003Cp>第三個問題是任務範圍。二選一比較候選轉錄，比較像受控的設定；真正上線時，你常常要評很多輸出，而且可能不是兩個選一個，而是要對一堆結果排序、打分、或做閾值判斷。摘要目前只證明了 LLM 在特定任務上很像人，還沒有證明它能完全取代既有評測方法。\u003C\u002Fp>\u003Cp>所以比較務實的讀法是：這篇論文不是在宣告 WER 死了，而是在提醒大家，ASR 評測應該往「語意」靠攏。對開發者來說，這代表你可以開始把 LLM-based semantic evaluation 當成工具箱的一部分，尤其是在單看字串不夠用的時候。\u003C\u002Fp>\u003Cp>如果你在做語音產品，這篇研究值得記住的地方很簡單：當你的目標是人類真的有沒有聽懂，WER 可能只是起點，不是終點。這篇論文提供的訊號是，decoder-based LLM 已經有機會成為更貼近人類判斷的 ASR 評測器，而且在摘要公開的結果裡，至少在 HATS 的二選一任務上，表現明顯優於 WER。\u003C\u002Fp>","這篇論文把 decoder-based LLM 拿來當 ASR 評測器，結果在人工一致性上明顯贏過 WER；在 HATS 的二選一任務，最佳模型達 92–94%。","arxiv.org","https:\u002F\u002Farxiv.org\u002Fabs\u002F2604.21928",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1777010993292-cy1y.png",[13,14,15,16,17],"ASR","WER","LLM","semantic evaluation","embeddings","zh",1,false,"2026-04-24T06:09:37.70822+00:00","2026-04-24T06:09:37.649+00:00","done","ed8e09b4-94f7-44fe-86e4-7488539a9b20","llms-for-asr-evaluation-beyond-wer-zh","research","32cc2350-8bcf-4970-9bcd-900a05441f2f","published","2026-04-24T09:00:08.043+00:00",[31,33,35,36,38],{"name":13,"slug":32},"asr",{"name":15,"slug":34},"llm",{"name":17,"slug":17},{"name":16,"slug":37},"semantic-evaluation",{"name":14,"slug":39},"wer",{"id":27,"slug":41,"title":42,"language":43},"llms-for-asr-evaluation-beyond-wer-en","LLMs for ASR Evaluation: Beyond WER","en",[45,51,57,63,69,75],{"id":46,"slug":47,"title":48,"cover_image":49,"image_url":49,"created_at":50,"category":26},"667b72b6-e821-4d68-80a1-e03340bc85f1","turboquant-seo-shift-small-sites-zh","TurboQuant 與小站 SEO 變化","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778840440690-kcw9.png","2026-05-15T10:20:27.319472+00:00",{"id":52,"slug":53,"title":54,"cover_image":55,"image_url":55,"created_at":56,"category":26},"381fb6c6-6da7-4444-831f-8c5eed8d685c","turboquant-vllm-comparison-fp8-kv-cache-zh","TurboQuant 與 FP8 實測結果","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778839867551-4v9g.png","2026-05-15T10:10:36.034569+00:00",{"id":58,"slug":59,"title":60,"cover_image":61,"image_url":61,"created_at":62,"category":26},"c15f45ee-a548-4dbf-8152-91de159c1a11","llmbda-calculus-agent-safety-rules-zh","LLMbda 演算替 AI 代理人立安全規則","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778825503412-mlbf.png","2026-05-15T06:10:34.832664+00:00",{"id":64,"slug":65,"title":66,"cover_image":67,"image_url":67,"created_at":68,"category":26},"0c02225c-d6ff-44f8-bc92-884c8921c4a3","low-complexity-beamspace-denoiser-mmwave-mimo-zh","更簡單的毫米波波束域去噪器","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778814650361-xtc2.png","2026-05-15T03:10:30.06639+00:00",{"id":70,"slug":71,"title":72,"cover_image":73,"image_url":73,"created_at":74,"category":26},"9d27f967-62cc-433f-8cdb-9300937ade13","ai-benchmark-wins-cyber-scare-defenders-zh","為什麼 AI 基準賽在資安領域的勝利，應該讓防守方警醒","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778807450006-nofx.png","2026-05-15T01:10:29.379041+00:00",{"id":76,"slug":77,"title":78,"cover_image":79,"image_url":79,"created_at":80,"category":26},"bc402dc6-5da6-46fc-9d66-d09cb215f72b","why-linux-security-needs-patch-wave-mindset-zh","為什麼 Linux 安全需要「補丁浪潮」思維","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778741449813-s2wn.png","2026-05-14T06:50:24.052583+00:00",[82,87,92,97,102,107,112,117,122,127],{"id":83,"slug":84,"title":85,"created_at":86},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":88,"slug":89,"title":90,"created_at":91},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":93,"slug":94,"title":95,"created_at":96},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":98,"slug":99,"title":100,"created_at":101},"9f50561b-aebd-46ba-94a8-363198aa7091","openclaw-agents-manipulated-self-sabotage-zh","OpenClaw Agent 會自己搞砸自己","2026-03-28T03:03:18.786425+00:00",{"id":103,"slug":104,"title":105,"created_at":106},"11f22e92-7066-4978-a544-31f5f2156ec6","vega-learning-to-drive-with-natural-language-instructions-zh","Vega：使用自然語言指示進行自駕車控制","2026-03-28T14:54:04.847912+00:00",{"id":108,"slug":109,"title":110,"created_at":111},"a4c7cfec-8d0e-4fec-93cf-1b9699a530b8","drive-my-way-en-zh","Drive My Way：個性化自駕車風格的實現","2026-03-28T14:54:26.207495+00:00",{"id":113,"slug":114,"title":115,"created_at":116},"dec02f89-fd39-41ba-8e4d-11ede93a536d","training-knowledge-bases-with-writeback-rag-zh","用 WriteBack-RAG 強化知識庫提升檢索效能","2026-03-28T14:54:45.775606+00:00",{"id":118,"slug":119,"title":120,"created_at":121},"3886be5c-a137-40cc-b9e2-0bf18430c002","packforcing-efficient-long-video-generation-method-zh","PackForcing：短影片訓練也能生成長影片","2026-03-28T14:55:02.688141+00:00",{"id":123,"slug":124,"title":125,"created_at":126},"72b90667-d930-4cc9-8ced-aaa0f8968d44","pixelsmile-toward-fine-grained-facial-expression-editing-zh","PixelSmile：提升精細臉部表情編輯的新方法","2026-03-28T14:55:20.678181+00:00",{"id":128,"slug":129,"title":130,"created_at":131},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00"]