本週 Search Engine Journal 引述 TollBit 的 State of the Bots 2026 上半年報告，揭露了一個對 GEO 從業者極具結構性意義的事實：ChatGPT 的頁面抓取爬蟲（ChatGPT-User）在大量已透過 robots.txt 封鎖它的網站上，仍然成功抓取了內容。
表面上，這是一則關於爬蟲合規的新聞。但深入來看，它觸及了 GEO 策略中一個經常被忽略的核心命題：你的內容在哪裡被誰讀取、何時被引用，與 robots.txt 之間的關係遠比想像中複雜。
第一層：爬蟲有兩種，封鎖策略必須區分
OpenAI 目前運作著至少兩款性質完全不同的爬蟲：
| 爬蟲名稱 | 用途 | robots.txt 適用性 |
|---|---|---|
| OAI-SearchBot | 為 ChatGPT 搜尋結果建立索引（決定你的網站能否被引用） | ✅ 明確適用 |
| ChatGPT-User | 當用戶提問時即時抓取頁面內容（產生回答） | ⚠️ OpenAI 稱「可能不適用」 |
| GPTBot | 訓練 GPT 模型的通用爬蟲 | ✅ 明確適用 |
許多企業在 robots.txt 中一律封鎖所有 AI 爬蟲，但這可能同時封鎖了 OAI-SearchBot——也就是決定你的品牌能否出現在 ChatGPT 回答中的那款爬蟲。
GEO 啟示：建議在 robots.txt 中採用差異化管理：
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: OAI-SearchBot
Allow: /
這樣既保護內容不被用於模型訓練，同時保留被 ChatGPT 搜尋引用的機會。
第二層：使用者觸發抓取的「灰色地帶」
OpenAI 的立場——使用者觸發的抓取不受 robots.txt 約束——在法律與技術層面都有其邏輯：
- 技術上，ChatGPT-User 是在使用者提問後才即時抓取特定頁面，行為模式類似使用者直接瀏覽網頁，而非背景爬蟲。
- 法律上，robots.txt 從 RFC 9309 定義以來一直是「請求」（request）而非「命令」（command）。OpenAI 文件的表述並未違反任何既有協議。
Perplexity 的 Perplexity-User 也採取類似立場。Anthropic 則較為保守，其三款爬蟲（Claude-User、Claude-Search、Claude-Fetcher）均聲明遵守 robots.txt。
這意味著：任何依靠 robots.txt 來完全控制 AI 引用來源的策略，從根本上就是不可靠的。 GEO 應該在內容層級（而非傳輸層級）建立控制機制。
第三層：GEO 的機會——當封鎖失效，品質才是護城河
如果 robots.txt 無法完全阻止 AI 爬蟲抓取你的內容，那麼真正的控制權回到了一個更根本的層面：內容本身的品質與權威性。
AI 模型在生成回答時，會優先引用被多個高權威來源交叉驗證的內容。即便爬蟲能夠抓取你的頁面，如果你的內容缺乏權威訊號（如資料來源、專家背書、引用次數、更新頻率），它仍不會被選入 AI 的回答中。
反之，如果你的內容具備強大的 參數權威（Parametric Authority）——我們在之前的文章〈參數權威：GEO 的核心原理〉中詳細說明過這個概念——AI 模型會自然傾向引用你，無需依賴 robots.txt 的允許。
第四層：平台層級的管控重構
Cloudflare 將在 9 月 15 日推出的更新，代表了產業對這個問題的下一階段回應：將爬蟲管控從 crawler 端移至網路層。
這項變更的關鍵意義在於：
- 即使 robots.txt 不被爬蟲遵守，CDN 層級的封鎖仍然有效。
- Cloudflare 能夠識別並分類不同爬蟲（Training vs. Search vs. Agent），讓網站擁有者可以做更精細的管控。
- 預設設定（新域名：訓練爬蟲被封鎖、搜尋爬蟲放行）反映了產業共識：允許被引用，但不允許被訓練。
給香港企業的行動清單
- 立即審視 robots.txt：確認你的 robots.txt 是否區分了 OAI-SearchBot 與 ChatGPT-User/GPTBot。
- 部署伺服器層級封鎖：對重要的商業內容，在伺服器/CDN 層級（而非僅 robots.txt）管理爬蟲存取。
- 評估 Cloudflare 影響：如果你是 Cloudflare 用戶，9 月 15 日後新域名的預設行為將改變，舊域名不受影響但建議手動審核設定。
- 強化內容的參數權威：最終，GEO 的成功不來自於 robots.txt 的設定，而來自於你的內容是否值得被 AI 引用。
參考來源：Search Engine Journal 報導〈Some AI Agents Reach Pages Sites Told Them To Skip〉（Matt G. Southern, 2026/8/14）、TollBit State of the Bots 2026 H1 Report、OpenAI Crawler Documentation、Cloudflare Crawler Controls Update。