[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"article-openai-content-filtering-labeling-factory-zh":3,"tags-openai-content-filtering-labeling-factory-zh":33,"related-lang-openai-content-filtering-labeling-factory-zh":46,"related-posts-openai-content-filtering-labeling-factory-zh":50,"series-industry-8b08524b-22a3-4f8e-8376-feacb8fdf2a5":87},{"id":4,"title":5,"content":6,"summary":7,"source":8,"source_url":9,"author":10,"image_url":11,"keywords":12,"language":21,"translated_content":10,"views":22,"is_premium":23,"created_at":24,"updated_at":24,"cover_image":11,"published_at":25,"rewrite_status":26,"rewrite_error":10,"rewritten_from_id":27,"slug":28,"category":29,"related_article_id":30,"status":31,"google_indexed_at":32,"x_posted_at":10,"tweet_text":10,"title_rewritten_at":10,"title_original":10,"key_takeaways":10,"topic_cluster_id":10,"embedding":10,"is_canonical_seed":23},"8b08524b-22a3-4f8e-8376-feacb8fdf2a5","OpenAI內容過濾器的標註工廠","\u003Cp>\u003Ca href=\"\u002Fnews\u002Fbytedance-deerflow-2-0-47k-stars-zh\">20\u003C\u002Fa>21 年 11 月起，\u003Ca href=\"https:\u002F\u002Fopenai.com\" target=\"_blank\" rel=\"noopener\">OpenAI\u003C\u002Fa>把數萬條文本片段交給外包團隊標註。內容很硬，包含暴力、仇恨言論，還有性虐待相關材料。目的很直接，就是先訓練一個檢測器，別讓這些東西先跑到使用者眼前。\u003C\u002Fp>\u003Cp>這件事沒有什麼神秘感。講白了，就是一條很工業化的流水線。人工先貼標籤，再讓模型學分類，最後接到 \u003Ca href=\"https:\u002F\u002Fchat.openai.com\" target=\"_blank\" rel=\"noopener\">ChatGPT\u003C\u002Fa> 的過濾流程裡。你看到的是一個聊天框，背後其實是一整套髒活拆解系統。\u003C\u002Fp>\u003Cp>我覺得這才是重點。不是 AI 裡有沒有什麼意識，而是內容審核到底怎麼做。它靠的是人工判斷、資料清洗、分類器和產品層防線。每一層都很土，但少一層就可能出事。\u003C\u002Fp>\u003Ch2>這套系統到底在幹嘛\u003C\u002Fh2>\u003Cp>這次做的不是聊天模型訓練，而是內容檢測器訓練。流程很像考試。先給模型看一堆樣本，再告訴它哪些是有害內容，哪些不是。最後，它就學會對相似文本做判斷。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1775142613827-3s75.png\" alt=\"OpenAI內容過濾器的標註工廠\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>大模型本身不會「理解」什麼叫有害。它只是從大量人工標註裡抓統計規律。樣本夠多時，模型就能對侮辱、騷擾、暴力、色情剝削類文本做出不錯的召回率。講白了，就是分類器。\u003C\u002Fp>\u003Cp>這種系統通常放兩層。第一層看輸入，先擋使用者提示詞。第二層看輸出，防止模型回話踩線。兩層一起上，誤放行機率才會低一點。只靠單層，常常像拿紙板擋子彈。\u003C\u002Fp>\u003Cul>\u003Cli>訓練目標：辨識暴力、仇恨、性虐待文本\u003C\u002Fli>\u003Cli>資料量：數萬條文本片段\u003C\u002Fli>\u003Cli>處理方式：人工標註後訓練分類器\u003C\u002Fli>\u003Cli>部署位置：輸入側與輸出側過濾\u003C\u002Fli>\u003Cli>核心指標：誤報率與漏報率\u003C\u002Fli>\u003C\u002Ful>\u003Cp>這裡還有一個現實問題。標註不是純技術活。它牽涉語境、文化、黑話、語氣，甚至地區差異。台灣人看得懂的梗，放到別的市場可能完全變味。這也是為什麼內容過濾很難一次做對。\u003C\u002Fp>\u003Ch2>為什麼要找外包人工標註\u003C\u002Fh2>\u003Cp>原因其實不玄。這類工作需要人眼做判斷，而且人要能扛住長時間看噁心內容。機器可以先篩，但第一批標籤通常還是得靠人來定。沒有人工，模型連「什麼叫危險」都學不穩。\u003C\u002Fp>\u003Cp>肯亞外包公司參與這件事，說明 AI 產業鏈早就全球化了。資料在一國，標註在另一國，產品在第三國。你在手機上看到的安全功能，背後可能是另一個時區的一群人，在逐條看極端文本。這畫面很樸素，也很殘酷。\u003C\u002Fp>\u003Cp>這也解釋了為什麼很多公司愛講「安全」和「對齊」。這些詞聽起來很高級，落地後就是拆任務、訂規則、做複核。說白了，還是人力密集，只是包裝得比較像 AI。\u003C\u002Fp>\u003Cblockquote>“The internet is the first thing that humanity has built that humanity doesn’t understand, the largest experiment in anarchy that we have ever had.” — Eric Schmidt\u003C\u002Fblockquote>\u003Cp>這句話很適合拿來看內容審核。網路內容太多、太雜、太快。任何想做過濾的公司，都得先把混亂變成可分類的資料。沒有這一步，後面全是空談。\u003C\u002Fp>\u003Cp>外包標註還有一個常被忽略的點，就是成本控制。用美國本土團隊做，薪資和合規成本都高。把流程拆到海外，成本會低很多。這不是什麼陰謀，就是科技公司常見的供應鏈思路。\u003C\u002Fp>\u003Ch2>和其他內容審核方案比，差在哪\u003C\u002Fh2>\u003Cp>OpenAI 這種做法的核心，是把人工經驗轉成可重複使用的分類器。跟純人工審核比，速度快很多。跟純規則過濾比，它比較能看懂變體寫法、拼字變形，還有刻意繞規則的表達。\u003C\u002Fp>\n\u003Cfigure class=\"my-6\">\u003Cimg src=\"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1775142599873-xfr3.png\" alt=\"OpenAI內容過濾器的標註工廠\" class=\"rounded-xl w-full\" loading=\"lazy\" \u002F>\u003C\u002Ffigure>\n\u003Cp>但代價也很明顯。分類器會誤殺正常內容，也會漏掉新黑話。尤其是政治隱喻、次文化術語、諧音梗，模型常常比人還笨。你以為它很聰明，其實它只是很會猜統計模式。\u003C\u002Fp>\u003Cp>如果把常見方案放一起看，差異就很清楚：\u003C\u002Fp>\u003Cul>\u003Cli>純人工審核：準，但慢，成本高\u003C\u002Fli>\u003Cli>關鍵字規則：便宜，快，但最容易被繞過\u003C\u002Fli>\u003Cli>機器分類器：覆蓋廣，能處理變體，但要一直更新\u003C\u002Fli>\u003Cli>混合方案：最常見，效果和成本比較平衡\u003C\u002Fli>\u003Cli>多語系擴充：最麻煩，因為語境差很多\u003C\u002Fli>\u003C\u002Ful>\u003Cp>如果看競品，\u003Ca href=\"https:\u002F\u002Fwww.anthropic.com\" target=\"_blank\" rel=\"noopener\">Anthropic\u003C\u002Fa>、\u003Ca href=\"https:\u002F\u002Fai.google\" target=\"_blank\" rel=\"noopener\">Google AI\u003C\u002Fa>、\u003Ca href=\"https:\u002F\u002Fwww.meta.com\u002Fai\u002F\" target=\"_blank\" rel=\"noopener\">Meta AI\u003C\u002Fa> 都有類似的安全層，只是做法不同。有人偏重憲法式對齊，有人偏重產品端規則，有人偏重大規模審核流程。方向不一樣，但問題都一樣：怎麼少放行危險內容，又不要把正常用戶卡死。\u003C\u002Fp>\u003Cp>這裡可以直接看數字思維。假設誤報率 2%，漏報率 5%，一個每天 1,000 萬次請求的產品，就會有 20 萬次正常內容被擋，還有 50 萬次危險內容漏掉。這種規模下，任何小數字都會變成大問題。\u003C\u002Fp>\u003Ch2>為什麼 AI 容易被神秘化\u003C\u002Fh2>\u003Cp>AI 很容易被講得像黑箱魔法。原因很簡單。多數人看不到訓練過程，只看到最後輸出。輸入、標註、清洗、微調這些環節都藏在後台，外界當然會\u003Ca href=\"\u002Fnews\u002Fanthropic-xero-ai-small-business-finance-zh\">開始\u003C\u002Fa>腦補。\u003C\u002Fp>\u003Cp>但這條新聞其實很普通。OpenAI 在做內容過濾訓練，而且用了人工標註。這說明的是工業流程，不是超自然秘密。很多時候，最無聊的解釋才最接近真相。\u003C\u002Fp>\u003Cp>真正該擔心的，不是那些聳動說法，而是標註員的工作環境、資料合規、以及模型誤傷率。這些才是產品安全的核心。你如果只盯著陰謀論，很容易把真正該問的問題丟掉。\u003C\u002Fp>\u003Cp>再說一次，內容審核不是玄學。它就是一場持續調參的工程。資料變了，黑話變了，模型就得跟著改。你今天擋得住的詞，明天可能就換個拼法再回來。\u003C\u002Fp>\u003Ch2>這件事放回產業脈絡看\u003C\u002Fh2>\u003Cp>內容審核其實是 AI 產業很早就存在的底層工作。從社群平台到搜尋引擎，從廣告投放到影像生成，大家都在做類似的事。差別只是，\u003Ca href=\"\u002Fnews\u002Faws-s3-sagemaker-unified-studio-fine-tuning-zh\">LLM\u003C\u002Fa> 把這件事推到更前台了。\u003C\u002Fp>\u003Cp>以前平台多半處理貼文、圖片、影片。現在 LLM 要處理的是即時對話。這代表風險更快、互動更密、修正窗口更短。你今天放掉一個危險提示詞，幾秒後模型就可能吐出一段不該出現的內容。\u003C\u002Fp>\u003Cp>所以你會看到更多層的防護。像是輸入過濾、輸出過濾、政策分類器、人工複核、風險回饋。這些東西看起來很瑣碎，但它們就是現在 AI 產品能不能上線的關鍵工程。\u003C\u002Fp>\u003Cp>從市場角度看，這也意味著一件事：安全不再只是法務問題，而是產品能力。誰能把過濾做穩，誰就比較能放心擴大使用場景。誰做不好，就會一直被公關和合規追著跑。\u003C\u002Fp>\u003Ch2>結尾：別被神秘敘事帶跑\u003C\u002Fh2>\u003Cp>把這件事講成什麼「秘密材料」或「神祕工廠」，其實太戲劇化了。更合理的說法很樸素：OpenAI 用人工標註訓練內容過濾器，目的就是讓 ChatGPT 少吐出危險文本。\u003C\u002Fp>\u003Cp>接下來比較值得看的是兩件事。第一，這類審核系統會不會擴到更多語言。第二，誤報率能不能壓下來。對使用者來說，最實際的問題不是 AI 有沒有靈魂，而是它會不會把正常內容當垃圾擋掉。\u003C\u002Fp>\u003Cp>我自己的判斷很直接。未來一年，內容過濾會變得更嚴，也會更細。你如果是開發者，最好開始關心你的產品裡，哪些地方也該加一層分類器。別等到出事了，才回頭補洞。\u003C\u002Fp>","OpenAI把數萬條有害文本交給人工標註，再訓練內容過濾器。這篇拆開它的流程、成本、誤殺率與產業脈絡。","www.zhihu.com","https:\u002F\u002Fwww.zhihu.com\u002Fquestion\u002F2022623696783774161\u002Fanswer\u002F2022632267613312315",null,"https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1775142613827-3s75.png",[13,14,15,16,17,18,19,20],"OpenAI","內容過濾","人工標註","ChatGPT","AI安全","LLM","資料標註","內容審核","zh",1,false,"2026-04-02T15:09:34.468129+00:00","2026-04-02T15:09:34.38+00:00","done","e7a88f53-bfc7-4756-afb1-ad94b8c53878","openai-content-filtering-labeling-factory-zh","industry","ea07c233-f907-44b1-8fad-bb682295f775","published","2026-04-08T09:00:51.559+00:00",[34,36,38,39,41,42,44,45],{"name":13,"slug":35},"openai",{"name":16,"slug":37},"chatgpt",{"name":15,"slug":15},{"name":17,"slug":40},"ai安全",{"name":20,"slug":20},{"name":18,"slug":43},"llm",{"name":14,"slug":14},{"name":19,"slug":19},{"id":30,"slug":47,"title":48,"language":49},"openai-content-filtering-labeling-factory-en","OpenAI内容过滤器背后的标注工厂","en",[51,57,63,69,75,81],{"id":52,"slug":53,"title":54,"cover_image":55,"image_url":55,"created_at":56,"category":29},"cd078ce9-0a92-485a-b428-2f5523250a19","circles-agent-stack-targets-machine-speed-payments-zh","Circle 推出 Agent Stack，瞄準機器速度支付","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778871663628-uyk5.png","2026-05-15T19:00:44.16849+00:00",{"id":58,"slug":59,"title":60,"cover_image":61,"image_url":61,"created_at":62,"category":29},"96d96399-f674-4269-997a-cddfc34291a0","iren-signs-nvidia-ai-infrastructure-pact-zh","IREN 綁上 Nvidia AI 基建","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778871057561-bukp.png","2026-05-15T18:50:37.57206+00:00",{"id":64,"slug":65,"title":66,"cover_image":67,"image_url":67,"created_at":68,"category":29},"de12a36e-52f9-4bca-8deb-a41cf974ffd9","circle-agent-stack-ai-payments-zh","Circle 推出 Agent Stack 做 AI 付款","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778870462187-t9xv.png","2026-05-15T18:40:30.945394+00:00",{"id":70,"slug":71,"title":72,"cover_image":73,"image_url":73,"created_at":74,"category":29},"e6379f8a-3305-4862-bd15-1192d3247841","why-nebius-ai-pivot-is-more-real-than-hype-zh","為什麼 Nebius 的 AI 轉型比炒作更真實","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778823044520-9mfz.png","2026-05-15T05:30:24.978992+00:00",{"id":76,"slug":77,"title":78,"cover_image":79,"image_url":79,"created_at":80,"category":29},"66c4e357-d84d-43ef-a2e7-120c4609e98e","nvidia-backs-corning-factories-with-billions-zh","Nvidia 出資 Corning 工廠擴產","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778822450270-trdb.png","2026-05-15T05:20:27.701475+00:00",{"id":82,"slug":83,"title":84,"cover_image":85,"image_url":85,"created_at":86,"category":29},"31d8109c-8b0b-46e2-86bc-d274a03269d1","why-anthropic-gates-foundation-ai-public-goods-zh","為什麼 Anthropic 和 Gates Foundation 應該投資 A…","https:\u002F\u002Fxxdpdyhzhpamafnrdkyq.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fcovers\u002Finline-1778796636474-u508.png","2026-05-14T22:10:21.138177+00:00",[88,93,98,103,108,113,118,123,128,133],{"id":89,"slug":90,"title":91,"created_at":92},"ee073da7-28b3-4752-a319-5a501459fb87","ai-in-2026-what-actually-matters-now-zh","2026 AI 真正重要的事","2026-03-26T07:09:12.008134+00:00",{"id":94,"slug":95,"title":96,"created_at":97},"83bd1795-8548-44c9-9a7e-de50a0923f71","trump-ai-framework-power-speech-state-preemption-zh","川普 AI 框架瞄準電力、言論與州權","2026-03-26T07:12:18.695466+00:00",{"id":99,"slug":100,"title":101,"created_at":102},"ea6be18b-c903-4e54-97b7-5f7447a612e0","nvidia-gtc-2026-big-ai-announcements-zh","NVIDIA GTC 2026 重點拆解","2026-03-26T07:14:26.62638+00:00",{"id":104,"slug":105,"title":106,"created_at":107},"4bcec76f-4c36-4daa-909f-54cd702f7c93","claude-users-spreading-out-and-getting-better-zh","Claude 用戶更分散，也更會用","2026-03-26T07:22:52.325888+00:00",{"id":109,"slug":110,"title":111,"created_at":112},"bd903b15-2473-4178-9789-b7557816e535","openclaw-raises-hard-question-for-ai-models-zh","OpenClaw 逼問 AI 模型價值","2026-03-26T07:24:54.707486+00:00",{"id":114,"slug":115,"title":116,"created_at":117},"eeac6b9e-ad9d-4831-8eec-8bba3f9bca6a","gap-google-gemini-checkout-fashion-search-zh","Gap 把結帳搬進 Gemini","2026-03-26T07:28:23.937768+00:00",{"id":119,"slug":120,"title":121,"created_at":122},"0740e53f-605d-4d57-8601-c10beb126f3c","google-pushes-gemini-transition-to-march-2026-zh","Google 把 Gemini 轉換延到 2026 年 3…","2026-03-26T07:30:12.825269+00:00",{"id":124,"slug":125,"title":126,"created_at":127},"e660d801-2421-4529-8fa9-86b82b066990","metas-llama-4-benchmark-scandal-gets-worse-zh","Meta Llama 4 分數風波又擴大","2026-03-26T07:34:21.156421+00:00",{"id":129,"slug":130,"title":131,"created_at":132},"183f9e7c-e143-40bb-a6d5-67ba84a3a8bc","accenture-mistral-ai-sovereign-enterprise-deal-zh","Accenture 攜手 Mistral AI 賣主權 AI","2026-03-26T07:38:14.818906+00:00",{"id":134,"slug":135,"title":136,"created_at":137},"191d9b1b-768a-478c-978c-dd7431a38149","mistral-ai-faces-its-hardest-year-yet-zh","Mistral AI 迎來最硬的一年","2026-03-26T07:40:23.716374+00:00"]