Googleのクロール・キャッシュリンク・インデックスとは？
今や知らないことはgoogleで検索すれば、瞬時にその答えが見つかります。若者の間では「ググる」なんて言葉も日常的に使われるような時代になりましたが、そもそもgoogleはどのようにしてそれらの情報サイトを検索結果に表示させているのでしょうか。
その仕組みを知ることができれば、あなたがサイトを作る際のSEO対策としてもとても役立つことでしょう。
そこで今回は、googleの仕組みについて解説したいと思います。
Contents
googleは「探す」そして「整理する」これが基本
googleの検索エンジンの基本は、情報を「探す」という行為と、その探した情報を「整理する」という行為を中心に行っています。そして、探すという行為を「クロール」といい、探した情報を整理する行為を「インデックス」と呼んでいます。この２つの仕組みを知ることがとても重要です。
クロールとは
クロールとはウェブ上にある様々なサイトの情報を収集することで、それを行うのが「Googlebot」というウェブ上を巡回しているロボットです。このように、ウェブ上を巡回して情報を収集するロボットのことを「クローラー」と言います。
このクローラーが集めた情報が、googleの検索結果のもととなるのです。
ただ、このクローラーは一度そのサイトを見つけただけで、すべての情報を読み取る力はありません。世界中に無数存在しているサイトを効率良く巡回するためには、一つ一つのサイトに時間をかけていられないため、自分のサイトをより正確にクローラーに読み取ってもらうためには、何度も周回してクロールしてもらう必要があるのです。
キャッシュとキャッシュリンクとは
クローラーがクロールした情報を保存したデータのことを「キャッシュ」と言います。そしてこのキャッシュがインデックスのもととなります。そして、検索結果が表示された際に一緒に表示されているアドレスがキャッシュリンクで、キャッシュリンクを使えば、サーバーがダウンしていても過去の情報を読み込んで表示させることが可能です。
そもそもクロールはどこから入ってくるのか
クローラーがクロールする際は、ウェブ上のリンクをまるでネットサーフィンのように伝ってやってきます。要するに「あみだくじ」のようなイメージです。あなたのサイトとリンクしている他のサイト経由でクローラーがやってきてクロールしていくのです。
そのため、アップロードしたばかりのサイトの場合は、他のサイトからのリンク（被リンク）などがないため、いくら待っていてもクローラーは来てくれません。クローラーに来てもらうためには、クローラーが来るためのリンクという名の「レール」を敷いてあげる必要があるのです。
クローラーに来てもらうためには「サイトマップ」の登録が重要
アップロードしたてでレールが敷かれていない場合、クローラーに来てもらうためには「サイトマップ」をgoogleに登録することでクロールしてもらうことができます。サイトマップとは、いわばあなたのサイトの「地図」のようなもので、それを登録しておくことで、できたばかりのサイトでも、googleにその存在を知らしめ、且つ、そこにたどりついてクロールできるようサイトマップという地図を提供することができるのです。
これにより、あなたのサイトを効率良くクロールすることが可能になります。
ただし、次のいずれかに該当するような場合は、たとえサイトマップを登録したとしても、途中でクロールが停止してしまう可能性がありますので注意が必要です。
１：ステータスコード
ステータスコードが「5xx範囲」の場合、サーバがリクエストの処理に失敗したことを意味しています。このシグナルをクローラーが受信した場合は、クロールを中止してしまいます。
２：接続時間
サーバーへの接続時間があまりにも長いと、クロールを中止することがあります。これはウェブサーバへの負荷を軽減するためにとられる措置です。そのため、あまりにも接続に時間のかかるサイトは、google側に認識してもらえない可能性がありますので注意しましょう。
インデックスのデータが検索結果になる
こうしてクローラーが集めてきた情報を、重要度などを見極めて整理整頓することを「インデックス」と言います。このインデックスこそがgoogleでの検索結果のもととなります。つまり裏を返せば、インデックスに保存されていなければ、検索結果には表示すらされないのです。
クローラーからのサイト評価が高ければ、インデックスでも高ランクに位置づけられるため、検索結果の上位に表示されやすくなります。では、クローラーはサイトの良し悪しをどのような基準で判断しているのでしょうか。
【クローラーからの評価が高くなる要素】
- 新しい情報が提供されている
- ウェブサイトの内容が頻繁に変化されている
- ウェブサイト内に無効となっているリンクがないか
これら３つのポイントを押さえておけば、自ずとSEO対策のポイントが見えてくるでしょう。
まとめ
このようにgoogleの仕組みは「クロール」と「インデックス」の繰り返しで情報が蓄積されていきます。そのため、SEO対策を講じる際には、最低限これらの情報を抑えた上でベストを尽くすことが何より重要となるでしょう。
