Google Sites × Cloudflare構成でrobots.txtが反映されなかった原因

AIクローラー制御で実際にハマったポイント

更新日：2026年5月10日

■ 概要

Google Sites と Cloudflare Pages を組み合わせた構成において、

robots.txt を更新したのに、

AIクローラー側で Disallow が解除されない

という現象が発生しました。

今回の原因は、

👉 Google Sites 側ではなく、
👉 Cloudflare AI Crawl Control の「Managed robots.txt」機能でした。

■ 発生していた症状

今回発生していた症状は以下です。

• robots.txt を書き換えても反映されない

• GPTBot がブロック扱い

• ChatGPT-User が取得できない

• Cloudflare Radar 上では Disallow 表示

• ブラウザで robots.txt を見ると Allow になっている

• sitemap.xml は正常

• Cloudflare Pages も正常

• Google Sites 側も問題なし

つまり、ブラウザ表示と、AIクローラー判定が一致していない状態でした。

■ 原因

原因は、

Cloudflare AI Crawl Control

の Managed robots.txt が有効になっていたことです。

Cloudflare側で以下のような robots.txt を自動生成していました。

User-agent: GPTBot

Disallow: /

User-agent: Google-Extended

Disallow: /

User-agent: ClaudeBot

Disallow: /

つまり、

👉 GitHub上の robots.txt
👉 Cloudflare Pages上の robots.txt

ではなく、

Cloudflare側が上書き生成していたのが原因でした。