indexは、意味を正確に押さえていないと、「ページを公開したのに検索結果に出てこない」といった状態の原因に気づけないことがあります。indexの意味と仕組みから、インデックスされているかの確認、インデックスを促す方法、設定を誤ったときの落とし穴、そして「どのページをインデックスさせるか」という管理の考え方まで、Googleの公式情報に沿って順に見ていきます。
indexとは検索エンジンにページが登録されること
indexとは、検索エンジンがクロールして取得したページの情報を、検索エンジンのデータベースに登録することを指します。日本語では「インデックス」「インデックス登録」と呼ばれます。ページがこのデータベースに登録されている状態を「インデックスされている」、登録されていない状態を「インデックスされていない」と言います。
indexの意味は検索エンジンのデータベースへの登録
検索エンジンは、Web上のページを集めて内容を解析し、データベースに整理して登録します。ユーザーが検索したとき、検索結果に並ぶのは、このデータベースに登録されたページの中から選ばれたものです。つまりindexは、ページが検索の対象になるために通る「登録」の工程を指します。
クロール・レンダリング・インデックス・ランキングの関係
ページが検索結果に表示されるまでには、いくつかの段階があります。
- クロール：Googlebotがページを見つけて取得します。
- レンダリング：取得したHTMLやJavaScriptを実行し、ページを描画します。Googleは「URLのクロールが完了すると、Google検索は、ウェブレンダリングサービスを使用してJavaScriptを解釈し、実行します」と説明しています。
- インデックス：内容を解析し、データベースに登録します。
- ランキング：検索のたびに、登録済みのページから順位を決めて表示します。
インデックスは3番目の段階にあたり、検索結果に表示されるための前提です。
参照：Google検索セントラル「Google検索の仕組み」 https://developers.google.com/search/docs/fundamentals/how-search-works?hl=ja
インデックスされていないとページは検索結果に表示されない
ページを公開すれば自動的に検索結果に出る、と考えてしまいがちですが、そうではありません。検索結果に表示されるのは、インデックスに登録されたページだけです。公開してから、クロール・レンダリング・インデックスのいずれかが完了していなければ、そのページは検索結果に出てきません。「公開した」状態と「検索に出る」状態の間には、インデックスという段階があるためです。
「公開した」と「検索に出る」は同じではない
公開した直後は、まだクロールされていないことがあります。クロールされても、内容が登録されるとは限りません。Googleはインデックス登録について「コンテンツはインデックス登録システムによってインデックスに登録される可能性がありますが、登録される保証はありません」としています。だからこそ、公開したあとは、そのページがインデックスされているかを自分で確認することが大切になります。
インデックスされない主な原因
ページがインデックスされないときは、次の原因がよく当てはまります。
- noindexが設定されている：ページにnoindexがあると、Googleはそのページを検索結果から外します。テスト環境で付けたnoindexが、本番に残ったままになっているケースに注意が必要です。
- robots.txtでクロールが止まっている：クロールできないと、Googleはページの中身を判断できません。ただしrobots.txtはクロールを止めるもので、インデックスを直接止めるものではありません。この違いは後述します。
- クロールがページに届いていない：内部リンクやサイトマップがなく、Googlebotがページにたどり着けていないことがあります。
- 内容の品質：内容が薄いページや、ほかのページと重複したページは、登録が見送られることがあります。
noindexやrobots.txtの具体的な設定は、それぞれの記事で詳しく説明しています。
noindexの設定方法
robots.txtの役割と記述方法
自分のページがインデックスされているか確認する方法
site:検索で確認する
検索窓に「site:ドメイン名」や「site:ページのURL」と入力して検索すると、Googleに登録されているページが表示されます。対象のページが出てこなければ、まだインデックスされていない可能性があります。手早く確認したいときに向いた方法です。
Search ConsoleのURL検査・ページのインデックス登録レポートで確認する
より正確に確認したいときは、Google Search Consoleを使います。URL検査ツールに対象のURLを入力すると、インデックス登録の状況や、登録されていない場合の理由を確認できます。サイト全体の登録状況は、「ページのインデックス登録」レポートで把握できます。
Google Search Console URL検査ツールの使い方
インデックスを促すためにできること
インデックスを早めたい、確実にしたいというときにできることがあります。先に押さえておきたいのは、どの方法もインデックスを保証するものではないという点です。Googleは「クロールをリクエストしても、コンテンツが検索結果にすぐに表示されるとは限らず、まったく表示されないこともあります。Googleのシステムでは、高品質で有用なコンテンツをすばやく表示することを優先しています」としています。
URL検査からインデックス登録をリクエストする
Search ConsoleのURL検査ツールで対象URLを検査すると、「インデックス登録をリクエスト」できます。新しく公開したページや、内容を更新したページで使います。これは登録を働きかける操作であって、登録そのものを保証するものではありません。
サイトマップ送信・内部リンクでクロールを促す
サイトマップを送信すると、サイトにどんなページがあるかをGoogleに伝えられます。内部リンクを整えると、Googlebotがページにたどり着きやすくなります。どちらもクロールとインデックスを促す手段で、これも登録を保証するものではありません。
正しく設定したつもりでも起きる落とし穴
noindexとrobots.txtのブロックを併用すると逆効果になる
noindexを「確実に効かせたい」と考えて、robots.txtでもそのページをブロックすると、かえって逆効果になることがあります。理由は、段階を追うと分かります。robots.txtはクロールを止める設定です。クロールが止まると、Googlebotはページの中身を読めません。すると、ページに書いたnoindexも読めません。noindexが読まれなければ、その指示は働きません。結果として、そのページが他のページからリンクされていれば、検索結果に表示され続けることがあります。
Googleは「noindexディレクティブを有効にするためには、robots.txtファイルでページやリソースをブロックせず、クローラがページにアクセスできるようにする必要があります」と説明しています。また、robots.txtファイルでnoindexを指定すること自体も、Googleはサポートしていません。
noindexでインデックスから外したいページは、robots.txtでブロックせず、クロールを許可したうえでnoindexを設定します。HTMLのページであれば、headに次のように記述します。
<meta name="robots" content="noindex">
PDFや画像などHTML以外のファイルでは、HTTPレスポンスヘッダーでX-Robots-Tagを使います。
X-Robots-Tag: noindex
詳しい使い分けはnoindexの記事で説明しています。
参照：Google検索セントラル「noindexを使用してコンテンツをインデックスから除外する」 https://developers.google.com/search/docs/crawling-indexing/block-indexing?hl=ja
noindexの設定方法
robots.txtの役割と記述方法
低品質・重複・使われないページはインデックスされない、または外れることがある
インデックスは、リクエストすれば必ず登録されるわけではありません。内容が薄いページや、ほかのページと内容が重複しているページは、クロールされてもインデックスに登録されないことがあります。Googleは登録について「登録される保証はありません」とし、高品質で有用なコンテンツを優先するとしています。
いったん登録されたページでも、状況によってはインデックスから外れることがあります。内容が重複している場合は、どのURLを代表とするか（正規化）を整理すると、評価が複数のURLに分散するのを防げます。
参照：Google検索セントラル「URLの再クロールをGoogleにリクエストする」 https://developers.google.com/search/docs/crawling-indexing/ask-google-to-recrawl?hl=ja
闇雲にインデックスさせない（インデックス管理の考え方）
ここまではインデックスさせる方向の話でしたが、すべてのページをインデックスさせることが目的ではありません。インデックスは検索結果に表示されるための前提であって、それ自体が順位や成果を生むわけではないからです。むしろ、内容の薄いページや役割の重複したページが大量にインデックスされていると、サイト全体にとって好ましくない状態になることがあります。
SEOの実務で重視したいのは、評価を集めたいページに土台を集中させることです。インデックスさせるページと、インデックスから外すページを切り分け、サイト全体の構成を整えます。
低品質・不要ページをインデックスから外す判断
公開しているすべてのページが、検索からの集客に貢献しているとは限りません。古くなったページ、自動的に生成された中身の薄いページ、内容の重複したページは、インデックスから外す候補になります。外す手段はnoindexです。判断の軸は、そのページがユーザーにとって価値を持つか、ほかのページと役割が重複していないかです。残すか外すかは、ページごとに目的に照らして決めます。
低品質ページを整理してサイト全体の評価を改善した事例
低品質なページを整理することで、サイト全体の評価が改善した事例があります。大量の古いコンテンツや自動生成ページがインデックスされていたサイトで、ユーザーにとって必要のないページを選び、noindexでインデックスから外しました。あわせて、評価を集めたいページの内容を充実させています。インデックスするページを絞り込み、サイト全体の構成を整えたことが、順位の回復につながりました。
具体的な進め方と成果は、導入事例で詳しく説明しています。
ツールでインデックス状態と設定をまとめて点検する
インデックスにまつわる問題の多くは、設定の確認で防げます。noindexが意図せず残っていないか、robots.txtでクロールを止めていないか、対象のページがインデックスされているか。これらを効率よく点検する手段を取り上げます。
kunugi SEO Checkerでnoindex・robots・site:を確認する
kunugi SEO Checker（Chrome拡張機能）は、閲覧中のページのnoindexやcanonicalの設定、robots.txt・sitemap.xmlを、デベロッパーツールを開かずにサイドパネルで確認できます。site:検索を組み立てることもできます。たとえば、テスト環境で付けたnoindexが本番に残っていないかをページ上で確認し、もし残っていれば、該当ページのコードからnoindexを外したうえで、URL検査で再登録をリクエストする、という手順で戻せます。
kunugi GSC Controllerで複数URLのインデックス状況をまとめて確認する
kunugi GSC Controller（Chrome拡張機能）は、Search Consoleの操作をサイドパネルから効率化できる拡張機能です。複数のURLの状況を確認したいときに、期間やフィルタの繰り返し操作を減らせます。
indexは、ページが検索結果に表示されるための入り口です。意味と仕組みを押さえ、インデックスさせるページと外すページを意図して選ぶことが、サイト全体の評価を整える土台になります。
← 記事一覧へ戻る