【GSC 403 與 GEO 雙效優化指南】Blocked due to access forbidden？Bluehost 與 Cloudflare 聯手誤擋 Googlebot 的檢查血淚史與 AI 爬取設定

當你在 Google Search Console (GSC) 看到「網頁未編入索引：由於禁止存取 (403) 而遭到封鎖 (Blocked due to access forbidden (403))」，或是 Sitemap 狀態卡在紅色的「無法讀取 (Could not fetch)」時，身為管理員一定會心急如焚。

更致命的是，在這個 AI 搜尋（Claude、ChatGPT、Perplexity、Copilot）崛起的時代，如果你的網站連 Googlebot 都擋，那各大 AI 模型的爬蟲也絕對進不來。這意味著你將直接在 GEO（Generative Engine Optimization，生成式引擎優化）的全新領域中出局，失去被 AI 引用與導流的機會。

網路上大部分的教學都會叫你檢查 robots.txt、.htaccess 或 WordPress 的隱私設定。如果你跟著做了一輪，甚至聯絡了主機客服，問題依舊沒有解決，這篇文章就是你的救星。

不用像我一樣跟客服來回拉扯五天、對話無數次，這篇指南將直接為你揭開背後的「隱形兇手」，並提供最完整的檢查與終極解決方案。

Table of Contents

檢查第一步：先排除這兩個「假警報」，別浪費時間

在開始動手修改設定前，請先放下對以下兩件事的焦慮，不要在它們身上浪費時間：

1. 網頁資源載入失敗（Blocked Resources）不用管

在 GSC 測試網址時，常會看到「有 X 個資源無法載入」並伴隨 403 錯誤。

真相： 這些通常是 Google 自家的廣告資源（如 DoubleClick、googlesyndication）或 YouTube 內嵌影片的請求。這是因為 Google 自己的 robots.txt 不允許 Googlebot 抓取廣告網址，屬於正常現象，完全不影響你的網站 SEO 與網頁索引。

2. 不要頻繁點擊「重新提交 Sitemap」

當看到 Sitemap 無法讀取時，人類的本能是瘋狂點擊重新提交。

真相： GSC 的數據更新有延遲，即使你修好了問題，紅字也可能掛個 1~2 天。更嚴重的是，如果主機防護機制有「請求頻率限制（Rate Limiting）」，你短時間內反覆提交與爬取，反而會被防火牆判定為惡意攻擊而鎖得更死。

核心檢查：三步驟找出 Googlebot 阻擋根源

當你的網站真人瀏覽完全正常，但 Googlebot 卻頻頻吃 403 門羹，請按照以下步驟進行「隔離檢查」：

步驟一：使用 GSC「即時測試」進行驗證

不要看 GSC 的歷史報告，直接在 GSC 上方搜尋列輸入你的 Sitemap 網址（例如：[https://yourdomain.com/post-sitemap.xml](https://yourdomain.com/post-sitemap.xml)） or 異常的文章網址。

點擊 「網址檢查」。
點擊右上角的 「即時測試 (Live Test)」。
如果即時測試結果依然是 403，代表阻擋是「現在進行式」。

步驟二：暫時關閉 Bluehost 內建的 Cloudflare

Bluehost 方案通常會自動幫網站掛上「內建代管版」的 Cloudflare。因為是代管版，管理員無法進入後台調整細部安全設定，而其內建的 Bot Fight Mode (機器人戰鬥模式) 經常會無差別阻擋包含 Googlebot 在內的爬蟲。

登入 Bluehost 後台，前往 Security (安全) 或 Performance (效能) 區。
將 Cloudflare 的開關切換為 關閉 (Disable)。
等待 2 到 4 小時（給 DNS 擴散生效的時間）。
再次回到 GSC 對 Sitemap 進行「即時測試」。

步驟三：測試結果判讀

如果測試成功（顯示綠燈）： 恭喜！確定兇手就是 Bluehost 內建的 Cloudflare 擋住了 Googlebot。請直接看下一段的終極解法。
如果依然 403： 說明阻擋發生在 Bluehost 伺服器本體（如 ModSecurity 防火牆）。此時應聯繫客服，提供 Googlebot 官方 IP 範圍要求他們將其加入伺服器白名單。

終極解決方案：轉換為自建免費版 Cloudflare，佈局 GEO 流量

確認是代管版 Cloudflare 擋住 Googlebot 後，你不應該選擇「永久關閉」它。因為失去 CDN 會讓台灣讀者連線到美國 Bluehost 主機的速度變慢，且會失去 DDoS 防護。

最好的兩全其美方案：自己去 Cloudflare 官網註冊免費帳號，並將網域自主接管。 如此一來，你不僅能解決 403 報錯，還能完美設定哪些 AI 爬蟲可以進入你的網站抓取資料。

1. 註冊並導入 DNS 紀錄

前往 Cloudflare 官網註冊免費帳號，輸入你的網域，Cloudflare 會自動掃描並匯入你現有的所有 DNS 紀錄。

2. 修正 DNS 紀錄中的 Proxy 狀態（重要！）

在 Cloudflare 的 DNS 紀錄頁面，只有網頁流量（主網域 A 紀錄、www CNAME 紀錄）需要開啟橘色雲朵 (Proxied)。

請手動將 ftp、ssh、mail、imap、pop、smtp 等非網頁服務的 Proxy 狀態切換為 灰色雲朵 (DNS only)，否則你的電子信箱與 FTP 連線會直接失效。

3. 至 Bluehost 修改 Nameservers

在 Cloudflare 取得兩組專屬的名稱伺服器（例如：xxx.ns.cloudflare.com）。
登入 Bluehost 後台 ➔ Domains (網域) ➔ 點選你的網域。
找到 Nameservers 區塊，將 Setup type 改為 Custom (自訂)。
填入 Cloudflare 的兩組 Nameservers 並儲存。

關鍵設定：如何正確放行 Googlebot 與 AI 爬蟲（GEO 核心設定）

擁有自己的 Cloudflare 帳號後，管理員終於掌握了控制權。請在 Cloudflare 後台完成以下三個關鍵設定，確保搜尋引擎與 AI 助理都能暢行無阻：

一、關閉 Bot Fight Mode（避免誤殺 Googlebot 與 AI 爬蟲）

在左側選單點選 「Security (安全性)」 ➔ 「Bots (機器人)」。
找到 「Bot Fight Mode (機器人戰鬥模式)」。
將開關切換為 「Off (關閉)」。

二、建立 WAF 規則：確保「已驗證的機器人 (Verified Bots)」絕對放行

在左側選單點選 「Security (安全性)」 ➔ 「WAF」。
在 「Custom rules (自訂規則)」 分頁中，點擊 「Create rule (建立規則)」。
依序輸入以下欄位：
- Rule name (規則名稱)：輸入 Allow Verified Bots。
- Field (欄位)：選擇 「Verified Bots (已驗證的機器人)」。
- Operator (運算子)：選擇 「equals (等於)」。
- Value (值)：選擇 「On (開啟)」。
- Choose action (選擇動作)：選擇 「Skip (跳過)」。
- WAF components to skip (要跳過的 WAF 元件)：勾選 「All remaining custom rules (所有剩餘的自訂規則)」，並勾選下方所有安全檢查項目。
點擊 「Deploy (部署)」。 (這條規則生效後，只要是 Google、Bing 等官方驗證過的爬蟲，都會直接跳過安全檢查，100% 不會再出現 403)

三、控制 AI 爬蟲權限，搶佔生成式搜尋紅利

前往左側選單 「Security (安全性)」 ➔ 「Bots (機器人)」。
找到 「Block AI bots [Deprecating on September 15] / 封鎖 AI 刮取程式與爬蟲」 設定。
極其關鍵的選擇： 請勾選 「Mixed purpose crawlers will continue to be allowed. (繼續允許混合用途爬蟲)」。
- 為什麼要這樣選？ 像 Applebot 這種混合用途爬蟲，既幫搜尋引擎建立索引，同時也幫 AI 訓練模型（如 Apple Intelligence）。如果選擇 Block，這些爬蟲會被完全阻擋，進而導致你的網站失去在特定平台上的搜尋排名（SEO 災難）。選擇 Allowed，既能保證網站的搜尋引擎索引不受影響，也能讓你的優質內容被 AI 引擎讀取、分析並在回答中引用，為你帶來新時代的 GEO 流量！

管理員加碼：順手做網站安全與健康檢查

在處理 403 錯誤的檢查過程中，建議管理員一併做以下兩項健康檢查，讓網站更安全：

檢查是否有不明腳本注入： 有時主機防火牆會突然對 Googlebot 警報，是因為網站可能被植入了惡意程式碼（例如重複載入來源不明的 .js 檔案）。建議使用 Sucuri SiteCheck 等線上工具免費掃描網站，並檢查佈景主題的 header.php 與最近安裝的外掛。
修正 Mixed Content（混合內容）警告： 檢查頁尾或佈景主題中是否含有 http:// 開頭的舊連結（例如主題商連結），將其修改為 https://，能提升瀏覽器的安全評等與使用者體驗。

結語

SEO 與 GEO 是一場持久戰，別讓不合理的防火牆設定成為你寫作路上的阻礙。

透過「停用代管版 ➔ 轉移自建免費版 Cloudflare ➔ 放行 Verified Bots ➔ 允許混合用途爬蟲」這套標準檢查流程，你不僅能完美解決 GSC 403 拒絕存取與 Sitemap 無法讀取的噩夢，還能同時兼顧網站的安全性、載入速度，以及未來的 AI 搜尋曝光，讓你的網站順利搭上生成式 AI 的流量紅利專車！