カスタムパス案

/column/what-is-robots-txt

robots.txtとは何か（robots.txt）

検索エンジンのクロール制御を行う設定ファイル

更新日：2026年5月10日


■ 概要

robots.txt（ロボッツ・テキスト）とは、
 検索エンジンのクローラー（Crawler）に対して、

👉 「どこをクロールして良いか」

を指示するための設定ファイルです。

Webサイトのルート直下に配置されます。

例：

https://example.com/robots.txt


■ robots.txtの役割

検索エンジンは、Webサイトを自動巡回しています。

この巡回を行うプログラムが、

などのクローラーです。

robots.txtは、そのクローラーに対して：

などを伝えます。


■ 基本構文

最もシンプルなrobots.txtは以下です。

User-agent: *

Allow: /

意味：

記述

意味

User-agent: *

全クローラー対象

Allow: /

全ページ許可


■ よく使う設定

特定ディレクトリを除外

User-agent: *

Disallow: /admin/

意味：

👉 /admin/ 以下をクロール禁止


sitemap.xmlを指定

User-agent: *

Allow: /


Sitemap: https://example.com/sitemap.xml

これは実務でかなり重要です。


■ sitemap.xmlとの関係

robots.txtには、

👉 sitemap.xmlの場所

を記載できます。

これにより検索エンジンが：

を把握しやすくなります。

SEO運用では基本セットです。


■ 実務で重要な理由

robots.txtは、

「検索エンジンに何を見せるか」

を制御する重要な設定です。

例えば：

などをクロール対象外にできます。


■ よくある誤解

「robots.txtで非公開にできる」

これは誤解です。

robots.txtは：

👉 「見ないでください」

というお願いに近い仕組みです。

アクセス制御ではありません。

URLを直接知っていればアクセスできる場合があります。

機密情報保護には：

などが必要です。


■ robots.txtの配置場所

必ずドメイン直下に置きます。

正しい例：

https://example.com/robots.txt

誤り：

https://example.com/files/robots.txt

検索エンジンは基本的にルート直下しか見ません。


■ robots.txtでHTMLを書いてはいけない

robots.txtは「テキストファイル」です。

そのため：

<meta>

<script>

<style>

などを書くとエラーになります。

実際によくあるのが、

👉 robots.txt に index.html が返ってしまう

構成ミスです。

Cloudflare PagesやSPA（Single Page Application）構成では特に発生しやすいです。


■ Time合同会社での考え方

Time合同会社では、

Google Sites単体では制御しづらい：

などを、

と組み合わせて運用するケースがあります。

特にSEO運用では、

👉 「検索エンジンからどう見えているか」

の視点が重要になります。


■ robots metaとの違い

よく混同されますが、

<meta name="robots" content="index,follow">

これはHTML内に書く設定です。

一方、

robots.txt はサイト全体のクロール制御です。

役割が異なります。


■ まとめ

robots.txtは、

検索エンジンのクローラー制御を行うための設定ファイルです。

SEO実務では、

と並んで重要な基礎要素になります。

特に現在は、

「ホームページを作ること」

よりも、

👉 「検索エンジンに正しく認識される構造を作ること」

が重要になっています。