八月的第三個週末，GEO 領域迎來了數個結構性的變化——從 AI 爬蟲如何繞過 robots.txt 的官方背書、到 Google 搜尋產品的 AI 化加速，到平台層級的爬蟲管控重構。本篇逐一解析。
1. AI 爬蟲繞過 robots.txt：官方文件已說明「可能不適用」
本週最重大的 GEO 新聞，來自 TollBit 發佈的 State of the Bots 2026 上半年報告。報告揭露了一系列關於 AI 爬蟲行為的關鍵數據：
- 在歐洲監測網站中，約 15% 的 AI 頁面抓取請求 抵達了網站透過 robots.txt 明確標示為 disallow 的 URL。
- ChatGPT-User 是表現最突出的違規者——在將它列入 disallow 的歐洲網站中，該爬蟲在近半數網站上仍成功抓取被封鎖的頁面。
- 相較之下，Claude-User 在歐洲僅有 9% 的網站設有 disallow，Perplexity-User 為 13%。
更重要的是，OpenAI 的官方爬蟲文件 明確指出：ChatGPT-User 是當 ChatGPT 使用者提問時才會觸發的抓取行為，由於行動由使用者發起，robots.txt 的規則 「可能不適用」。
Perplexity 也持類似立場，表示 Perplexity-User 基於同樣理由基本上忽略該檔案。但 Anthropic 則明確表示其三款爬蟲都會遵守 robots.txt。
這對 GEO 意味著什麼？
對於香港企業而言，這項發展有兩個層面的啟示：
- 封鎖不等於保護：即便在 robots.txt 封鎖 ChatGPT-User，OpenAI 文件中已表明這可能不適用於使用者觸發的抓取。單純依賴 robots.txt 來阻止 AI 爬蟲的效果有限。
- 選擇性封鎖的 GEO 策略：OpenAI 文件中強調，真正控制 ChatGPT 搜尋結果中能否出現某個網站的爬蟲是 OAI-SearchBot，而非 ChatGPT-User。換句話說，企業可以在 robots.txt 中分別管理「訓練爬蟲」與「搜尋/引用爬蟲」，在不影響 GEO 能見度的前提下保護內容。
2. Cloudflare 九月起強制預設封鎖 AI 爬蟲
呼應上述趨勢，Cloudflare 正在全面更新其爬蟲管控機制，將決策層從 crawler 端移至網路層。自 2026 年 9 月 15 日起，新增至 Cloudflare 的域名將預設：
- 訓練（Training）與代理（Agent）爬蟲：在有廣告的頁面上預設封鎖
- 搜尋（Search）爬蟲：保持允許
這項更新意味著，Cloudflare 作為全球最大的 CDN 之一，正以網路基礎設施層級來強制執行 AI 爬蟲管控，不再信任 crawler 端自行遵守 robots.txt。
3. Gemini 3.7 Flash 正式進駐 Google 搜尋 AI Mode
Google 本週將 Gemini 3.7 Flash 導入 Google 搜尋的 AI Mode。這是 Google 所稱「最智慧的工作主力模型」，主打編碼與代理能力。
- 目前僅對 Google AI Pro 與 Ultra 付費訂閱者 開放（英文版）
- Google 產品副總裁 Robby Stein 在 X 上確認：該模型讓 AI Mode 在「遵循指令」與「理解意圖」方面明顯提升
- 用戶可在 AI Mode 中點擊「+」圖示選擇使用 Gemini 3.7 Flash
雖然目前僅限付費方案，但 Google 很可能在未來數週至數月內向所有用戶開放。這代表 Google 搜尋的 AI 化轉型正在加速。
4. Google 首頁測試 AI 專用按鈕
Google 證實正在測試首頁上的全新按鈕設計，目的是引導更多用戶使用 AI 驅動的搜尋功能。這項測試雖然尚在早期階段，但傳遞了明確訊號：Google 正將 AI 搜尋從「實驗功能」推向「預設體驗」。對於 GEO 從業者而言，這意味著 AI Overview 與 AI Mode 的流量佔比將持續上升。
5. Google 將 AI 代理能力引入廣告與分析平台
本週 Google 也宣布將新的 AI 代理能力整合至 Google Ads 與 Google Analytics。具體包括：
- AI Max 遷移時間表：Google 為 Search 廣告活動設定了 AI Max 的遷移時間表
- AI 代理輔助廣告投放：AI 代理可自動優化廣告策略，不再僅限於傳統的目標 CPA/ROAS
- Analytics 自訂轉換歸因視窗：讓行銷人員更靈活地衡量 AI 驅動的轉換路徑
6. Shopify 報告：AI 推薦流量年增 197%
Shopify 發佈的最新數據顯示，來自 AI 推薦（AI referrals）的流量年增 197%，但自然搜尋仍穩居流量來源首位。這組數據驗證了 AI 搜尋流量正在高速增長，但尚未取代傳統 SEO 的地位——兩者應互補而非對立。
本週 GEO 行動建議
- 重新檢視你的 robots.txt：區分 AI 訓練爬蟲（如 GPTBot）與 AI 搜尋/引用爬蟲（如 OAI-SearchBot、Claude-Search），選擇性封鎖。
- 關注 Cloudflare 九月更新：如果你的網站使用 Cloudflare，預設設定將在 9 月 15 日改變，請提前測試影響。
- 準備迎接 AI Mode 流量：隨著 Gemini 3.7 Flash 逐步開放，AI Mode 的搜尋精度將提升，確保你的內容在結構化與權威性上符合 AI 摘要的引用標準。
- 建立 AI 流量轉換指標：Shopify 的數據與 Search Engine Land 的分析都指出，LLM 流量的轉換模式與傳統搜尋不同，應建立專屬的追蹤與優化機制。
參考來源：Search Engine Journal（TollBit State of the Bots 報告）、Search Engine Land（Gemini 3.7 Flash、Google 首頁測試、AI 代理廣告功能）、Shopify 官方數據、Cloudflare 公告。