Webサイトを運営する中で、「特定のページを検索結果に出したくない」「検索エンジンのクローラーの動きをコントロールしたい」という場面が存在します。その際によく使われるのが「noindex」「nofollow」「robots.txt」の3つですが、それぞれの役割は根本的に異なります。
この記事では、これら3つの設定の違いと、正しい使い分けについて解説します。
3つの役割の違い
それぞれの基本的な役割を確認しましょう。
1. noindex（インデックスの制御）
「このページを検索結果に載せないでください」という、検索エンジンに対する絶対的な命令です。 設定されたページは原則として検索結果から除外されます。サイト内の重複ページや、ユーザーにとって価値の低いページなど、検索結果に表示させるメリットがないページに使用します。
2. nofollow（リンクの制御）
「このページにあるリンクを辿らないでください」「リンク先に評価を渡さないでください」というヒントとして機能します。
以前はクローラーの巡回を完全に防ぐ強い命令でしたが、現在のGoogleはこれをあくまで判断材料のヒントとして扱っています。そのため、基本的にはリンク先へ評価を渡さず、リンクも辿りませんが、Googleの判断によっては、リンクを辿って先にあるページをクロールしたり、評価の参考にしたりする可能性があります。
3. robots.txt（クロールの制御）
クローラーに対して「指定したページには立ち入り禁止」と伝える、サイト全体のアクセス制限のファイルです。ページの中身を見られる前に、クローラーをブロックする役割を持ちます。
具体的な利用ケース例
1. noindex
・ECサイトなどのサイト内検索の結果ページ
理由： Googleなどの検索エンジンからサイトに訪れたユーザーが、その先で商品が一つもないページにたどり着くと、知りたい情報が得られずガッカリしてしまいます 。Googleも、このような検索結果の中にある、中身のない検索結果ページを低品質なコンテンツとみなす傾向があります。
2. nofollow
・アフィリエイトリンクやPRリンク
理由：アフィリエイトリンクやPRリンク Googleはお金のやり取りでSEOの評価を渡すことをスパムとして厳しく禁じています。そのため、広告リンクには必ずnofollow（またはsponsored）をつけて、「これは広告なのでSEOの評価は渡しません」と明示する必要があります。
・コメント欄や掲示板などのユーザー投稿（UGC）
理由：ブログのコメント欄や掲示板など、サイト運営者が内容を完全に管理できないリンクには rel：”ugc” を設定します。これにより、スパム業者が勝手に貼り付けたリンクによって自社サイトの信頼性が巻き添えで下がるリスクを防ぐことができます。
3. robots.txt
・WordPressなどの管理画面や会員専用ページ
理由： /wp-admin/のような裏側のシステムファイルやログイン画面は、そもそも一般ユーザーが検索して見るものではありません。Googleのクローラーがこうした裏側に無駄な時間と労力を使わないよう、入り口で立ち入り禁止の札を立てます。
以前はログイン画面も一律で禁止することがありましたが、現在は考え方が少し異なります。例えば、自社のサービス名で検索したユーザーが「（サービス名） ログイン」と入力して、直接ログイン画面に飛びたいというニーズがある場合です。このようなケースでは、robots.txtでブロックしてしまうと検索結果に表示されにくくなってしまいます。
noindexとrobots.txtの併用に関する注意点
検索エンジンの動きを制御する上で最も注意すべきなのが、ページを検索結果から消したい時に、noindexとrobots.txtを併用してはいけないという点です。
robots.txtでクローラーの立ち入りを禁止してしまうと、クローラーはページの中にある「noindex（検索結果から消してください）」というタグの指示自体を読むことができません。その結果、いつまでも情報が更新されず、検索結果に残り続けてしまうことがあります。
ページを確実に検索結果から消したい場合は、robots.txtではブロックせず、noindexだけを設定してクローラーに中身を読ませる必要があります。
まとめ
検索エンジンの動きをコントロールする3つの設定の違いは、以下の通りです。
- noindex： 検索結果からページを除外する「命令」
- nofollow： リンクを辿らない・評価を渡さないための「ヒント」
- robots.txt： クローラーの立ち入り自体を防ぐ「アクセス制限」
それぞれの役割と強制力の違いを理解し、SEO対策に正しく活用しましょう
