[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-google-android-bench-update-gemini-gap-zh":3,"article-related-google-android-bench-update-gemini-gap-zh":34,"series-research-c4597538-217d-4b81-83d0-9b3cc4153861":83},{"id":4,"slug":5,"title":6,"content":7,"summary":8,"source":9,"source_url":10,"author":11,"image_url":12,"cover_image":12,"category":13,"language":14,"translated_content":11,"related_article_id":15,"keywords":16,"key_takeaways":26,"views":30,"created_at":31,"published_at":32,"topic_cluster_id":33},"c4597538-217d-4b81-83d0-9b3cc4153861","google-android-bench-update-gemini-gap-zh","Android Bench 更新，Gemini 掉到第五","\u003Cp data-speakable=\"summary\">Google 更新 Android Bench 後，\u003Ca href=\"\u002Ftag\u002Fgemini\">Gemini\u003C\u002Fa> 3.1 Pro 掉到第五名，\u003Ca href=\"\u002Ftag\u002Fopenai\">OpenAI\u003C\u002Fa> 與 \u003Ca href=\"\u002Ftag\u002Fanthropic\">Anthropic\u003C\u002Fa> 的模型排在前面。\u003C\u002Fp>\u003Cp>Google 這次把 \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fandroid-bench\" target=\"_blank\" rel=\"noopener\">Android Bench\u003C\u002Fa> 重新整理了一次。結果很直接，Gemini 沒站上前段班。這份榜單新增 8 個模型後，競爭味道更濃，也更難替自家模型找台階下。\u003C\u002Fp>\u003Cp>這份測試看的是 Android 開發任務。Google 說它涵蓋 100 個 Android development tasks。對做軟體的人來說，這種榜單比聊天評分更接近實戰，因為它碰到的是修 bug、改程式、跑流程這些真工作。\u003C\u002Fp>\u003Ctable>\u003Cthead>\u003Ctr>\u003Cth>模型\u003C\u002Fth>\u003Cth>名次\u003C\u002Fth>\u003Cth>準確率\u003C\u002Fth>\u003Cth>測試成本\u003C\u002Fth>\u003Cth>執行時間\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\u003Ctbody>\u003Ctr>\u003Ctd>Claude Fable 5\u003C\u002Ftd>\u003Ctd>第 1\u003C\u002Ftd>\u003Ctd>84.5%\u003C\u002Ftd>\u003Ctd>超過 130 美元\u003C\u002Ftd>\u003Ctd>未公布\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd>Gemini 3.1 Pro\u003C\u002Ftd>\u003Ctd>第 5\u003C\u002Ftd>\u003Ctd>未公布\u003C\u002Ftd>\u003Ctd>87 美元\u003C\u002Ftd>\u003Ctd>未公布\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd>Gemini 3.5 Flash\u003C\u002Ftd>\u003Ctd>更後面\u003C\u002Ftd>\u003Ctd>未公布\u003C\u002Ftd>\u003Ctd>165 美元\u003C\u002Ftd>\u003Ctd>28 小時\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd>GPT 5.5\u003C\u002Ftd>\u003Ctd>前段班\u003C\u002Ftd>\u003Ctd>未公布\u003C\u002Ftd>\u003Ctd>超過 130 美元\u003C\u002Ftd>\u003Ctd>未公布\u003C\u002Ftd>\u003C\u002Ftr>\u003C\u002Ftbody>\u003C\u002Ftable>\u003Ch2>榜單一拉寬，Gemini 的落差就更明顯\u003C\u002Fh2>\u003Cp>Google 今年 3 月第一次推出 Android Bench 時，自己的模型就沒有站在最前面。這次更新後，落差更清楚，因為榜單加入更多現役 agent。像 \u003Ca href=\"https:\u002F\u002Fwww.anthropic.com\u002Fnews\u002Fclaude-sonnet-5\" target=\"_blank\" rel=\"noopener\">Claude Sonnet 5\u003C\u002Fa>、\u003Ca href=\"https:\u002F\u002Fwww.anthropic.com\u002Fnews\u002Fclaude-opus-4\" target=\"_blank\" rel=\"noopener\">Claude Opus 4.8\u003C\u002Fa>、\u003Ca href=\"https:\u002F\u002Fopenai.com\u002Findex\u002Fgpt-5-4\" target=\"_blank\" rel=\"noopener\">GPT 5.4\u003C\u002Fa>、\u003Ca href=\"https:\u002F\u002Fopenai.com\u002Findex\u002Fgpt-5-5\" target=\"_blank\" rel=\"noopener\">GPT 5.5\u003C\u002Fa> 都進來了。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783906366388-1v3j.png\" alt=\"Android Bench 更新，Gemini 掉到第五\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>另外還有 \u003Ca href=\"https:\u002F\u002Fwww.minimax.io\u002F\" target=\"_blank\" rel=\"noopener\">MiniMax\u003C\u002Fa>、\u003Ca href=\"https:\u002F\u002Fqwenlm.github.io\u002F\" target=\"_blank\" rel=\"noopener\">Qwen\u003C\u002Fa>、\u003Ca href=\"https:\u002F\u002Fwww.kimi.com\u002F\" target=\"_blank\" rel=\"noopener\">Kimi\u003C\u002Fa>、\u003Ca href=\"https:\u002F\u002Fglama.ai\u002Fmodel-catalog\u002Fmodels\u002Fglm-5-2\" target=\"_blank\" rel=\"noopener\">GLM\u003C\u002Fa>。這種做法很重要，因為只放少數模型的榜單很容易失真。模型一多，大家的真實差距就藏不住。\u003C\u002Fp>\u003Cp>結果也很乾脆。第一名是 \u003Ca href=\"\u002Ftag\u002Fclaude\">Claude\u003C\u002Fa> Fable 5，準確率 84.5%。Gemini 3.1 Pro 則掉到第五。這對 Google 來說不太好看，因為 Android 本來就是它最熟的地盤之一。\u003C\u002Fp>\u003Cul>\u003Cli>Android Bench 涵蓋 100 個 Android 開發任務。\u003C\u002Fli>\u003Cli>這次更新加入 8 個新模型。\u003C\u002Fli>\u003Cli>第一名 Claude Fable 5 準確率是 84.5%。\u003C\u002Fli>\u003Cli>Gemini 3.1 Pro 排名第五。\u003C\u002Fli>\u003C\u002Ful>\u003Ch2>成本也上榜後，Gemini 反而沒那麼難看\u003C\u002Fh2>\u003Cp>只看準確率很容易誤判。對開發者來說，成本才是每天會痛到的地方。Google 這次把 cost 和 efficiency 一起放進來，榜單就不只是誰答對比較多，而是誰比較划算。\u003C\u002Fp>\u003Cp>Claude Fable 5 和 GPT 5.5 都很強，但跑完整個 100 題、10 次測試，成本都超過 130 美元。這種價格拿來做內部測試還行，真要每天跑，財務會先皺眉頭。\u003C\u002Fp>\u003Cp>Gemini 3.1 Pro 雖然只排第五，成本卻是 87 美元。這讓它在價格上比前面幾個對手漂亮一些。反過來看，Gemini 3.5 Flash 原本應該走省錢路線，結果在這份榜單上卻最貴，單次要 165 美元，還跑了 28 小時。\u003C\u002Fp>\u003Cblockquote>“The benchmark is a community effort,” Google wrote in its Android Bench announcement on GitHub.\u003C\u002Fblockquote>\u003Cp>這句話很直白。Google 不是只想發一份榜單，還想讓外部開發者一起補資料。它也說，Android Bench 會跟著工作流程變動，開發者可以提交任務和結果，供官方納入後續版本。\u003C\u002Fp>\u003Cp>這種設計很像把 \u003Ca href=\"\u002Ftag\u002Fbenchmark\">benchmark\u003C\u002Fa> 當成活文件。它不該只服務 PR 圖表，而是要貼近真實開發流程。對做 agent 的團隊來說，這比單純拼分數更有意義。\u003C\u002Fp>\u003Cul>\u003Cli>Claude Fable 5 和 GPT 5.5 都超過 130 美元。\u003C\u002Fli>\u003Cli>Gemini 3.1 Pro 的測試成本是 87 美元。\u003C\u002Fli>\u003Cli>Gemini 3.5 Flash 跑到 28 小時。\u003C\u002Fli>\u003Cli>Google 開放外部開發者提交任務。\u003C\u002Fli>\u003C\u002Ful>\u003Ch2>Harbor 讓測試更容易，也讓比較更麻煩\u003C\u002Fh2>\u003Cp>Google 把 Android Bench 轉到 \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fharbor\" target=\"_blank\" rel=\"noopener\">Harbor\u003C\u002Fa> 框架。它的目標很實際，就是讓執行、評估、分享結果更簡單。對想自己跑 Android 任務的人來說，這會降低很多門檻。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783906367567-h94c.png\" alt=\"Android Bench 更新，Gemini 掉到第五\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>但這也帶來\u003Ca href=\"\u002Fnews\u002Fone-api-gateway-turns-six-ai-apis-into-one-zh\">一個\u003C\u002Fa>麻煩。Google 重新用 Harbor 跑了一次舊測試，所以有些分數會變動，即使題目本身沒有改。也就是說，新榜單不只是模型變了，測試\u003Ca href=\"\u002Fnews\u002Fopensearch-vector-search-benchmark-5-parts-zh\">基準\u003C\u002Fa>也變了。\u003C\u002Fp>\u003Cp>這件事很重要。很多人看榜單只看名次，忽略測試框架。可是一旦評測工具換了，結果就不能直接拿來跟舊版硬比。這種細節，才是開發者該盯的地方。\u003C\u002Fp>\u003Cul>\u003Cli>Harbor 用來簡化本地執行和結果分享。\u003C\u002Fli>\u003Cli>Google 保留了舊資料歸檔。\u003C\u002Fli>\u003Cli>開發者可以提交新任務。\u003C\u002Fli>\u003Cli>Android Bench 的資料集已更新到 GitHub。\u003C\u002Fli>\u003C\u002Ful>\u003Ch2>Google 的 AI coding 野心，現在還沒壓過對手\u003C\u002Fh2>\u003Cp>Google 一直在推 agentic development。意思很簡單，就是讓模型自己做更多程式工作，不只回答問題。Android Bench 很適合拿來測這件事，因為 Android 開發本來就是 Google 最熟的應用場景。\u003C\u002Fp>\u003Cp>麻煩的是，Google 自己的模型還沒拿下領先位置。這會\u003Ca href=\"\u002Fnews\u002Fuae-web3-setup-crypto-rules-checklist-zh\">變成\u003C\u002Fa>產品問題，不只是 benchmark 問題。因為開發者真的會拿它跟 \u003Ca href=\"https:\u002F\u002Fopenai.com\" target=\"_blank\" rel=\"noopener\">OpenAI\u003C\u002Fa> 和 \u003Ca href=\"https:\u002F\u002Fwww.anthropic.com\" target=\"_blank\" rel=\"noopener\">Anthropic\u003C\u002Fa> 的模型比較，然後直接決定要不要付費。\u003C\u002Fp>\u003Cp>我覺得接下來要看兩件事。第一，Google 會不會持續加更多真實 Android 任務。第二，外部開發者會不會真的透過 Harbor 送資料進來。若這兩件事都做得起來，Android Bench 才會越來越像實戰考場。\u003C\u002Fp>\u003Ch2>這份榜單對台灣開發者的意思\u003C\u002Fh2>\u003Cp>如果你在台灣做 app、內部工具，或是 agent 工作流，這份榜單其實很有參考價值。它提醒你，選模型不能只看聊天能力。做 Android 任務時，準確率、成本、執行時間都要一起算。\u003C\u002Fp>\u003Cp>我會建議團隊先跑自己的小型測試集，再對照 Android Bench。不要只看誰名次高。你真正要的是，哪個模型在你的資料、你的流程、你的截止時間裡最穩。\u003C\u002Fp>\u003Cp>接下來幾個月，Android Bench 可能會成為 Google 和競品互相對照的固定工具。Gemini 要追回來，靠的不是口號，而是把 Android 任務真的做得更準、更快、更便宜。\u003C\u002Fp>\u003Cp>短期內，開發團隊可以先做一件事：把你們最常見的 20 個 Android 任務列出來，直接拿不同 LLM 跑一次。這比追著排行榜看，通常更有用。\u003C\u002Fp>","Google 更新 Android Bench，加入 8 個新模型後，Gemini 3.1 Pro 掉到第五名，OpenAI 與 Anthropic 仍領先。","arstechnica.com","https:\u002F\u002Farstechnica.com\u002Fgoogle\u002F2026\u002F07\u002Fgoogle-revamps-android-ai-dev-benchmark-adds-fable-5-and-other-agents\u002F",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783906366388-1v3j.png","research","zh","abcd6dcf-d3f5-4280-84f7-46439ba1416e",[17,18,19,20,21,22,23,24,25],"Android Bench","Gemini 3.1 Pro","Google","OpenAI","Anthropic","Android 開發","AI coding","Harbor","benchmark",[27,28,29],"Google 更新 Android Bench 後，Gemini 3.1 Pro 掉到第五名。","榜單加入成本與效率後，模型選擇更接近真實開發情境。","Harbor 降低測試門檻，但也讓新舊結果不能直接硬比。",0,"2026-07-13T01:32:25.247653+00:00","2026-07-13T01:32:25.231+00:00","2fa9baa6-d689-441e-ab72-c81fb04e6bbe",{"tags":35,"relatedLang":42,"relatedPosts":46},[36,38,40],{"name":20,"slug":37},"openai",{"name":21,"slug":39},"anthropic",{"name":19,"slug":41},"google",{"id":15,"slug":43,"title":44,"language":45},"google-android-bench-update-gemini-gap-en","Google’s Android Bench update exposes Gemini’s gap","en",[47,53,59,65,71,77],{"id":48,"slug":49,"title":50,"cover_image":51,"image_url":51,"created_at":52,"category":13},"a1c5b218-d9ff-4e46-9c58-07d0fe5152fc","vlm-accuracy-visual-cognitive-errors-decade-zh","VLM 描述複雜場景變準了","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783926189859-c95z.png","2026-07-13T07:02:36.585294+00:00",{"id":54,"slug":55,"title":56,"cover_image":57,"image_url":57,"created_at":58,"category":13},"2ec5f4bf-f90a-4dc9-98e0-dc8189169e56","visual-pretraining-language-models-zh","視覺預訓練勝過純文字","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783924384413-4ob9.png","2026-07-13T06:32:35.520894+00:00",{"id":60,"slug":61,"title":62,"cover_image":63,"image_url":63,"created_at":64,"category":13},"8b8f7b87-7e93-415f-a52d-56613e17b278","phinn-eeg-topology-dream-state-eeg-zh","PHINN-EEG 用拓撲看夢境 EEG","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783922588253-kq48.png","2026-07-13T06:02:34.287269+00:00",{"id":66,"slug":67,"title":68,"cover_image":69,"image_url":69,"created_at":70,"category":13},"f25ed4f5-db61-4d8c-bc59-e80c93e27927","llm-benchmarks-not-enough-2026-zh","2026 年挑 LLM，別再把 benchmark 當答案","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783818161840-t0n4.png","2026-07-12T01:02:19.419242+00:00",{"id":72,"slug":73,"title":74,"cover_image":75,"image_url":75,"created_at":76,"category":13},"35378c9f-bc39-4cc0-b9e1-1ce4a746ba5b","rust-breaks-into-tiobe-top-10-zh","Rust 進入 TIOBE 前十的判讀筆記","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783816365723-zjl1.png","2026-07-12T00:32:23.969578+00:00",{"id":78,"slug":79,"title":80,"cover_image":81,"image_url":81,"created_at":82,"category":13},"48d2bd0a-8140-4bda-8a04-8523145b3197","ai-ransomware-still-needs-a-human-bottleneck-zh","AI勒索仍卡在人手瓶頸","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1783800203353-1ntk.png","2026-07-11T20:02:52.10043+00:00",[84,89,94,99,104,109,114,119,124,129],{"id":85,"slug":86,"title":87,"created_at":88},"f18dbadb-8c59-4723-84a4-6ad22746c77a","deepmind-bets-on-continuous-learning-ai-2026-zh","DeepMind 押注 2026 連續學習 AI","2026-03-26T08:16:02.367355+00:00",{"id":90,"slug":91,"title":92,"created_at":93},"f4a106cb-02a6-4508-8f39-9720a0a93cee","ml-papers-of-the-week-github-research-desk-zh","每週 ML 論文清單，為何紅到 GitHub","2026-03-27T01:11:39.284175+00:00",{"id":95,"slug":96,"title":97,"created_at":98},"c4f807ca-4e5f-47f1-a48c-961cf3fc44dc","ai-ml-conferences-to-watch-in-2026-zh","2026 AI 研討會投稿時程整理","2026-03-27T01:51:53.874432+00:00",{"id":100,"slug":101,"title":102,"created_at":103},"cf046742-efb2-4753-aef9-caed5da5e32e","adaptive-block-scaled-data-types-zh","IF4：神經網路量化的聰明選擇","2026-03-31T06:00:36.990273+00:00",{"id":105,"slug":106,"title":107,"created_at":108},"53a0dc54-0371-4e40-8d5e-74e94a73840c","geometry-aware-similarity-metrics-for-neural-representations-zh","超越距離測量：用微分幾何重新理解神經網路","2026-03-31T06:01:01.241968+00:00",{"id":110,"slug":111,"title":112,"created_at":113},"fee7d472-a775-4b1d-bbc2-1e8bca1bbf8b","on-the-fly-repulsion-in-the-contextual-space-for-rich-divers-zh","讓AI繪圖更有創意：用排斥力提升生成多樣性","2026-03-31T06:01:25.439673+00:00",{"id":115,"slug":116,"title":117,"created_at":118},"a9901203-d69b-447b-8854-15d14eab32b4","vision-aided-beam-prediction-cnn-eca-zh","影像輔助波束預測升級 CNN","2026-04-01T10:00:25.8073+00:00",{"id":120,"slug":121,"title":122,"created_at":123},"b55e7dd4-0a24-4b3d-804d-b0309a03f498","triple-band-fss-mimo-antenna-sub-6-ghz-zh","三頻 FSS MIMO 天線瞄準 sub-6 GHz","2026-04-01T13:18:36.857305+00:00",{"id":125,"slug":126,"title":127,"created_at":128},"f68290bd-e7f3-4b30-ba22-dcd4e0130a66","openclaw-1299-repos-eight-weeks-analysis-zh","OpenClaw 1299 個 Repo 的資料解讀","2026-04-02T05:03:45.208411+00:00",{"id":130,"slug":131,"title":132,"created_at":133},"ed9f80eb-eb02-4d35-8ad4-0ddf428751dd","beam-coherence-aware-combining-mmwave-mimo-zh","毫米波 MIMO 的雙階合併法","2026-04-02T05:27:26.897188+00:00"]