為什麼這項變更比你想像中更重要？
2026 年 9 月 15 日，Cloudflare 正式推出橫跨「Search（搜尋）、Training（訓練）、Agent（智能體）」三個獨立分類的 AI 爬蟲控制機制。表面上看，這只是後台設定選項的調整——但對專注 GEO（生成式引擎優化）的品牌來說，這項政策改變了 AI 爬蟲能否實際到達你網站的遊戲規則。
更值得注意的是，獨立研究機構 SeenSure 在政策生效前後的實際測量揭露了一個與官方說法不完全一致的事實：搜尋類 AI 爬蟲的存取率出現了大幅度變化。
本文將逐一拆解：政策做了什麼、實際數據說了什麼、以及香港企業該如何應對。
政策核心：從「一刀切」到「三獨立開關」
Cloudflare 將 AI 爬蟲分成三個類別，網站擁有者可以獨立控制每個類別的存取權限：
| 分類 | 代表爬蟲 | 用途 |
|---|---|---|
| Search（搜尋） | OAI-SearchBot、Claude-SearchBot、PerplexityBot | 為 AI 搜尋功能建立索引，讓你出現在 ChatGPT Search、Perplexity 等服務的答案中 |
| Training（訓練） | GPTBot、ClaudeBot | 從你的網站擷取內容用於訓練或微調 AI 模型 |
| Agent（智能體） | ChatGPT-User、Claude-User、Perplexity-User | 代表真人用戶即時存取你的網站（如 AI Agent 替你瀏覽頁面） |
關鍵改變
Cloudflare 引入了 Disallow AI Training 設定，同時將原來「Block AI Bots」的單一開關廢棄。新設定的核心邏輯是：
- 選擇 Disallow AI Training → 訓練爬蟲被阻擋，但 Googlebot、Bingbot、Applebot 等搜尋爬蟲仍然可以存取你的網站（前提是這些爬蟲營運商獲得 Cloudflare 的「Accountable」認證）
- 選擇 Block → 連 Googlebot、Bingbot 和 Applebot 也會被完全阻擋，包括搜尋索引
- 新網域預設配置：含廣告的網站自動啟用 Disallow AI Training；不含廣告的網站則全部允許
Cloudflare CEO Matthew Prince 在 7 月預告時的說法值得注意：「36.6% 的驗證爬蟲流量來自混合用途爬蟲——它們是流量中最大的單一類別。不到 1% 的網站阻擋搜尋爬蟲，但 17% 的網站已啟用某種訓練阻擋機制。」
獨立實測：實際發生的情況與官方說法的差異
SeenSure 在 9 月 14 日至 16 日期間，對 1,046 個網站（其中 639 個使用 Cloudflare、255 個對照組）進行了跨越八種 AI 爬蟲身份的實測，結果值得 GEO 從業者高度關注。
Cloudflare 端爬蟲拒絕率的實際變化
| 爬蟲身份 | 分類 | 政策前拒絕率 | 政策後拒絕率 | 變化 |
|---|---|---|---|---|
| ClaudeBot | Training | 19.9% | 22.8% | +2.9% |
| GPTBot | Training | 18.9% | 22.0% | +3.1% |
| OAI-SearchBot | Search | 16.9% | 3.0% | -13.9% |
| PerplexityBot | Search | 16.0% | 3.2% | -12.8% |
| Claude-SearchBot | Search | 15.4% | 2.4% | -13.0% |
| ChatGPT-User | Agent | 16.4% | 2.8% | -13.6% |
| Perplexity-User | Agent | 14.9% | 2.2% | -12.7% |
| Claude-User | Agent | 14.7% | 1.5% | -13.2% |
| 一般瀏覽器（對照） | — | 0.0% | 0.0% | 0.0% |
發現一：混合用途爬蟲的「分家」正在發生。
OAI-SearchBot（搜尋）和 GPTBot（訓練）——雖然來自同一家公司 OpenAI——在政策前後的遭遇截然不同。GPTBot 的拒絕率上升了 +3.1% 到 22.0%，而 OAI-SearchBot 的拒絕率從 16.9% 暴跌至 3.0%。Cloudflare 確實做到了它承諾的事：區分爬蟲的用途。
發現二：搜尋爬蟲的存取率大幅改善——這才是 GEO 從業者最該關注的。
六個搜尋和智能體爬蟲的拒絕率全部從約 15–16% 暴跌至約 1.5–3.2%。這代表 AI 搜尋爬蟲現在可以到達的網站数量大幅增加了——對於之前因 Cloudflare 的預設或網站設定而被阻擋的網站，它們在 ChatGPT Search、Perplexity、Claude Search 中的被引用能力可能出現可量度的改善。
發現三：非 Cloudflare 網站的拒絕率完全沒有變化。
255 個非 Cloudflare 網站的數據在政策前後保持穩定——這確立了變化確實來自 Cloudflare 的政策調整，而非其他外部因素。
對 GEO 策略的深遠影響
1. 你的 Cloudflare 設定直接決定 AI 爬蟲能否進入
這聽起來很基本，但過去許多品牌從未仔細檢查 Cloudflare 的 AI 爬蟲設定。過去，預設設定對 AI 爬蟲的態度是「不特別阻擋也不特別允許」；現在，新的預設會根據你的網站是否含廣告來決定——如果你的網站含廣告，新預設會自動阻擋訓練爬蟲，但對搜尋爬蟲保持開放。
問題在於： 如果你的 Cloudflare 帳號是多年前設定的，你可能從未注意過你的設定已被遷移至新的分類模式。Cloudflare 表示會根據既有設定進行遷移，但 SeenSure 的數據顯示，仍有約 3% 使用 Cloudflare 的網站拒絕了搜尋爬蟲——如果你的網站是其中之一，你的 GEO 表現可能因此受限。
2. 搜尋爬蟲的「大門」正在打開
SeenSure 數據中最引人注目的部分是：搜尋爬蟲拒絕率從 15–17% 降至約 3%。這意味著過去因為 Cloudflare 設定而無法被 AI 搜尋爬蟲到達的網站，現在有很大機會被重新發現。
這對 GEO 的含義是：
- 「被 AI 搜尋爬蟲到達」不再是主要障礙——過去品牌花費大量心力確保網站可以被 AI 爬蟲檢索，現在這個門檻大幅降低
- 競爭焦點將回歸到內容本身——當爬蟲更容易到達你的網站，決勝點將是內容是否結構化、可回答、值得被引用
- 新網站和中小型網站獲得更大的公平機會——不再因為 Cloudflare 的預設阻擋而被排除在 AI 搜尋之外
3. Pay Per Use 的未來
Cloudflare 同時宣佈了 Pay Per Use 計劃，讓出版商可以在內容被 AI 使用時獲得報酬。初期合作夥伴包括 Ceramic.ai 和 You.com。對於內容型香港網站（如媒體、博客、專業資訊平台），這可能開闢一條新的收入來源——你的內容被 AI 引用時，你可以獲得補償。
對香港企業的行動建議
✅ 立即檢查你的 Cloudflare AI 爬蟲設定
- 登入 Cloudflare Dashboard → Security → Settings → Configure AI bot policies
- 確認你的 Search 分類設定為 Allow（確保 OAI-SearchBot、PerplexityBot 等搜尋爬蟲可以存取）
- 確認你的 Training 分類設定符合你的商業模式（廣告收入網站可設為 Disallow AI Training；服務型網站可設為 Allow）
- 不要直接選 Block——除非你願意同時失去 Googlebot 和 AI 搜尋的曝光
✅ 政策前後做 AI 引用對比
9 月 15 日前後的 AI 引用率變化，是衡量 Cloudflare 此政策對你品牌實際影響的最佳時機。使用 Google Search Console 的 AI 表現報告，對比 9 月初（政策前）和 9 月下旬（政策後）的品牌 AI 能見度變化。
✅ 關注 AI Agent 曝光的潛力
Cloudflare 明確將 AI Agent（如 ChatGPT-User、Claude-User）列為獨立分類。2026 年第三季度 OpenAI 推出 Dots、Perplexity 推出 Portable Computer 等 AI Agent 產品後，Agent 爬蟲的流量預計將持續增長。確保你的網站對 Agent 爬蟲保持開放，因為它們代表未來的商業查詢來源。
✅ 留意香港市場的延遲影響
Cloudflare 的政策是全球性的——但不同市場的反應速度不同。香港企業普遍使用 Cloudflare 作為 CDN 和安全性方案，但很多中小企從未主動檢查或修改過相關設定。建議將這項檢查納入 2026 年第四季的 GEO 審計清單。
總結：政策改變了遊戲規則，但不是終點
Cloudflare 的 AI 爬蟲政策更新，是 2026 年下半年對 GEO 生態影響最深遠的基礎設施層變更之一。它同時做了兩件事：
- 為品牌打開了 AI 搜尋爬蟲的存取大門——SeenSure 的數據清楚顯示，大量之前被拒絕的搜尋爬蟲現在可以到達網站了
- 引入了訓練與搜尋的分離控制——讓網站擁有者可以精準選擇自己的內容要如何被使用
對香港企業來說，這項政策的最大意義在於：AI 爬蟲的可達性不再是藉口，內容品質才是真正的決勝點。 當大門打開後，誰的內容結構清晰、資訊權威、持續更新，誰就能在 AI 搜尋中獲得更高的被引用率。
參考來源： Cloudflare Blog（Sep 15, 2026）、SeenSure Before/After Study（Sep 16, 2026）、Search Engine Journal（Sep 15, 2026）