← ハシトシステム トップ English ツール ブログ
ルールを組み立てる
robots.txt はクロールの制御であって、検索結果からの削除ではありません。Disallow したURLでも、他サイトからリンクされていればURLだけが検索結果に載ることがあります。確実に出したくないページには noindex のメタタグを使い、そのページは Disallow しないでください（Disallow するとクローラが noindex を読めません）。
できた robots.txt
行数: 0 バイト数: 0
パスの判定結果
—
気づいた点
    関連ツール： ブラウザ情報チェッカー ネットワーク構成デザイナー フィルタ構文チェッカー URLパーサ

    よくある質問（FAQ）

    Disallow と Allow が両方一致したらどちらが勝ちますか？

    一致した文字数が長いルールが勝ちます。長さが同じ場合は Allow が勝ちます。本ツールの判定もこの規則に従っており、たとえば Disallow: /admin/ と Allow: /admin/help/ があるとき /admin/help/index.html は許可されます。

    robots.txt で検索結果からページを消せますか？

    消せません。robots.txt はクロールを止めるだけです。他のサイトからリンクされていれば、内容を読まれないままURLだけが検索結果に載ることがあります。結果から消したいページには noindex のメタタグを使い、そのページを Disallow しないでください。Disallow するとクローラが noindex を読めません。

    パスに * や $ は使えますか？

    使えます。* は任意の並びに一致し、$ は行末に固定します。たとえば Disallow: /*?sessionid= はクエリを含むURLに、Disallow: /*.pdf$ は拡張子が .pdf で終わるURLに一致します。本ツールの判定もこの2つに対応しています。

    Crawl-delay は書いたほうがよいですか？

    Google は Crawl-delay を読みません。Google のクロール頻度を下げたい場合は Search Console から設定します。Bing など一部のクローラは読むため、それらを対象にしたい場合だけ書けば十分です。

    robots.txt はどこに置きますか？

    サイトのルート直下に置きます。https://example.com/robots.txt のように、ドメインの直下でなければ読まれません。サブディレクトリに置いても効果はなく、サブドメインごとに別のファイルが必要です。

    入力した内容はサーバーに送られますか？

    いいえ。組み立ても判定もすべてお使いのブラウザ内で完結します。入力したパスやURLがサーバーへ送信・保存されることはありません。

    使い方の手順

    1. 対象のクローラを決める — User-agent 欄に対象を書きます。すべてのクローラを対象にするなら * のままにします。
    2. クロールさせないパスを書く — Disallow 欄に1行1パスで書きます。/ で始める必要があり、* と $ も使えます。
    3. 例外を書く — Disallow したディレクトリの中に見せたい場所があれば、Allow 欄に書きます。長く一致するほうが優先されます。
    4. Sitemap を足す — sitemap.xml の絶対URLを書きます。相対パスは読まれないため、https:// から始まる形にします。
    5. パスを試す — 「この パス を試す」に実際のパスを入れると、いま書いたルールでクロールされるかどうかが表示されます。
    6. 保存して置く — ダウンロードした robots.txt を、サイトのルート直下に置きます。