robots.txtの設定ミスで検索順位が急落？クローラーを正しく制御する方法

2026年02月18日 2026年02月18日

クリオ

Web制作ディレクター / フロントエンジニア

こんにちは！

今日は「robots.txtの設定ミスで検索順位が急落？クローラーを正しく制御する方法」について解説します。

robots.txtの設定ミスあるあると現場での失敗談

僕も昔、クライアントから「検索結果に表示されてない」って言われたことがあります。
調べてみたら、robots.txtで重要なページまでDisallowしちゃってたんですよ。
ほんま恥ずかしい思い出です。

robots.txtって、クローラーに対してサイトのどのページを訪問してほしいか、どの部分は避けてほしいかを指示するファイルです。
でもこの設定がもし間違ってたら、検索エンジンが大事なページにたどり着けなくなって、検索順位が落ちてしまうんですよ。

現場でよく見るのは、こんなパターンです：

怖いですよね。
でも安心してください。
正しい書き方を理解すれば、こういった失敗は防げます。

robots.txtはドメイン直下の /robots.txtに配置します。
例えばhttps://example.com/robots.txtみたいな感じですね。

基本的な構文はシンプルです。
見てみましょう：

User-agent: * は「すべてのクローラーに対して以下のルールを適用する」という意味です。
もし特定のクローラーだけに指示したい場合は、User-agent: Googlebotみたいに書くこともできます。

Disallow: /は「このパス以下のすべてのページをクローラーが訪問しないようにする」という意味です。
例えばDisallow: /admin/だったら、管理ページへのアクセスはブロックしますよ。

Allow:はDisallowの例外を指定します。
例えばDisallow: /user/で全体をブロックしつつ、Allow: /user/profile/で特定のページだけ許可する、みたいな細かい制御ができます。

Crawl-delay:はクローラーの訪問間隔を調整するルールです。
サーバーに負荷がかかってる場合に有効です。
ただし、Googleはこれを無視することもあるので、過信しないでくださいね。

よくある勘違いとして、「robots.txtで設定したら、Googleアナリティクスから除外できる」と思ってる人がいます。
それは違うんです。
robots.txtはクローラーを制御するだけで、ユーザーのアクセス除外は別の方法が必要です。

実践的な設定例を紹介しますね。
まず、ほとんどのサイトが使う基本的なパターンです：

User-agent: *
Disallow: /admin/
Disallow: /temp/
Disallow: /*.pdf$
Disallow: /*?*

このパターンは、管理ページと一時ファイルをブロックして、PDFファイルもクローラーに読ませず、クエリパラメータ付きのページもブロックします。
めっちゃ実用的です。

次に、ECサイトでよく使うパターン：

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /user-account/
Allow: /user-account/profile/
Crawl-delay: 1

これは、ショッピングカートや決済画面はブロックしつつ、プロフィールページは許可して、クローラーの訪問間隔を1秒に調整します。

設定したら、本当に大丈夫か検証する必要があります。
Google Search Consoleの「robots.txtテスター」がめっちゃ便利ですよ。

手順はこんな感じです：

すると、そのURLがクローラーから見てブロックされてるのか、許可されてるのかが一目瞭然です。
「許可されています」と出たら成功。
「ブロックされています」と出たら、設定を見直す必要があります。

僕もこれで何回も助かってます。
設定変更したら、必ずこのテスターで確認するといいですよ。

robots.txtは一見シンプルに見えますが、設定ミスがあると検索流入に大きな影響を与えます。
だからこそ、正しく理解して、定期的に検証することが大事なんです。

ポイントをおさらいすると：

テクニカルSEOは地味な作業ですが、これがめっちゃ大事なんですよ。
みんなが見落とす部分だからこそ、丁寧に対応することで、他のサイトと差がつきます。

Web制作で困ったことがあったら、またこのブログを覗いてくださいね！

― クリオ