robots.txt生成
クローラー（User-agent）ごとにDisallow・Allowのパスを指定し、サイトマップのURLを加えると、サイトのルートに置く robots.txt をリアルタイムに生成します。Googlebot・Bingbotといった検索エンジンのほか、GPTBot・ClaudeBot・CCBot・Google-Extended などのAIボット向けのブロック設定もプリセットで追加できます。生成後は metaタグ・OGPタグ生成 と合わせて、検索エンジン向けの設定を整えましょう。
🔒 ブラウザ内で完結・入力データはサーバーに送信されません
プリセット
クリックするとグループを追加します（最初の空のグループだけの場合は置き換えます）。
ルール（グループ）
Sitemap
確認事項
使い方
- 「プリセット」から目的に近いものを追加するか、「グループを追加」で独自のルールを作ります。
- グループごとに User-agent、Disallow、Allow のパスを1行に1つずつ入力します（パスは / から始めます）。
- 必要であればSitemapのURLを入力します。複数ある場合は1行に1つずつ書きます。
- 警告を確認し、「コピー」または「robots.txtをダウンロード」で出力します。サイトのルート（/robots.txt）に配置してください。
注意事項
- robots.txt はクロールのお願いであり、アクセス制限ではありません。誰でも閲覧でき、守らないボットもあります。機密情報の保護にはパスワード認証などを使ってください。
- Disallow したURLでも、他のページからのリンクなどで検索結果に表示されることがあります。検索結果から外したい場合は noindex を指定してください（noindex を読み取らせるにはクロールを許可する必要があります）。
- Crawl-delay はBingなど一部のクローラーのみが解釈し、Googlebotは無視します。
- `Disallow:` の値が空のグループは何も禁止しないという意味です。`Disallow: /` はサイト全体の禁止を意味するので注意してください。
- ファイルは必ずドメインのルート（例: https://example.com/robots.txt）に、UTF-8のテキストとして置いてください。サブドメインごとに別のファイルが必要です。
用語解説
User-agent
クローラーの名前。`*` はすべてのクローラーを表し、Googlebot や GPTBot などの名前を書くと、そのクローラーだけに適用されるルールになる。
Disallow / Allow
クロールを禁止する／許可するパスの接頭辞。`/` から始める。より具体的（長い）パスのルールが優先される。
Sitemap
サイト内のURL一覧（sitemap.xml）の場所をクローラーに伝える行。絶対URLで書き、複数指定できる。
よくある質問
robots.txt はどこに置けばよいですか？
ドメインのルート直下（例: https://example.com/robots.txt）に置きます。サブディレクトリに置いても効力はなく、サブドメインごとに別のファイルが必要です。静的サイトならpublicフォルダ直下に robots.txt として保存してください。
AIの学習用クローラーをブロックするにはどう書けばよいですか？
対象のUser-agent（GPTBot、ClaudeBot、CCBot、Google-Extendedなど）を指定し、Disallow: / を書きます。プリセットの「AIボットをブロック」で一括追加できます。ただし守るかどうかは各社の運営次第で、強制力はありません。
Disallow に指定したページが検索結果に出てくるのはなぜですか？
robots.txt はクロールを制限するだけで、インデックスを禁止するものではありません。他ページからのリンクがあるとURLだけ表示されることがあります。検索結果から外したい場合は noindex を使い、そのページのクロールは許可しておいてください。
Allow と Disallow が競合した場合はどちらが優先されますか？
GoogleやBingでは、より具体的（長い）パスのルールが優先されます。たとえば Disallow: /admin/ と Allow: /admin/public/ を併記すると、/admin/public/ 以下だけクロールできます。
このページをシェア