自社のWebサイトがGoogleなどの検索エンジンの上位に表示されるようになると、集客効果がグンとアップします。そのために必要となってくる検索エンジンの仕組み、自社サイトをクローリングしてもらう方法について解説します。
クローリングを意識することからSEO対策を始めよう
WebサイトがGoogleなどの検索結果に表示されるには、検索エンジンのクローラーと呼ばれる自動巡回プログラムにサイトを認識させ、情報収集対象としてデータベースに登録させる必要があります。
漠然とSEO対策をしているのとクローリングを意識して対策をしているのとでは、効果に大きな差が発生します。
そもそもクローリングって何？
クローリングというのは検索エンジンのクローラーが、リンクからリンクへとWebサイトを巡回しながら、Webサイトの情報を収集することを指します。検索エンジンによっていくつかクローラーが存在していますが、一番代表的なものはGoogle社の「Googkebot」です。
新規に開設したWebサイトはクローラーに巡回され、データベースに登録してもらわないと、検索結果に表示されません。検索上位に表示されてアクセスを集めたければ、まずクローリングされる必要があります。
検索エンジンが情報を収集する仕組み
ユーザーが検索キーワードを入力して検索処理を行うと、検索エンジンはクローリングで収集したデータベースを参照して検索結果を表示します。
巡回の方法ですが、あるWebサイトにたどり着いたクローラーはHTML内にあるリンクコードを見つけます。
見つけたリンクコードから次のWebサイトに移動したらまたHTML内のリンクコードを見つけて移動することを繰り返しながら、その都度たどり着いたサイトの情報を収集します。
クローリングを意識することがサイト運営の第一歩
クローラーに情報を収集してもらいデータベースに登録されるまでは、検索キーワードが盛り込まれていても結果に表示されません。運営するサイトのアクセス数を増やすためには、クローリングを意識することが第一歩と言われるのはこのためです。
クローリングを行うクローラーとは？
クローラーはリンクからリンクを発見しては次々と巡回していきます。複雑に絡み合ったWeb上のリンクの構造は、よく「蜘蛛の巣」に例えられます。そこを渡り歩くクローラーは「スパイダー」と呼ばれることもあります。
日本ではGooglebotを意識すればいい理由
Google社のクローラーGooglebot以外の主要なクローザーには、以下のようなものがあります。
- Bing：BingBot（マイクロソフト）
- Yandex：YandexBot（ロシア）
- Baidu：Baiduspider（中国）
この中で、日本でのアクセスアップを狙うためなら、意識するのはGooglebotだけでいいとよく言われています。理由として、日本国内で使用されている検索エンジンのシェアはYahoo!JapanとGoogleにほぼ二分されているからです。
GoogleだけでなくYahoo!JapanもGoogleのシステムを使用しています。そのため、国内での対策はGooglebotさえ意識しておけば、ほぼ万全なのです
クローラーは何を見て収集するのか
クローラーはHTMLファイルを辿りながら情報を収集しますが、その際参照しているのはHTMLファイルだけではありません。
- Java Scriptで生成されるリンク
- PHPファイル
- Flashに埋め込まれているリンク
- WordやPowerPointで作成されたリンク
なども収集しています。
クローラーはプログラムなので文字情報しか収集することができません。画像のみで文字による情報がないサイトは情報として集めることができません。
クローラーの基本動作
人間がネットワーフィンをする時、Webページのリンクを渡り歩くように、クローラーはHTMLからリンクを探してサイトを渡り歩きます。その過程で、各ページの内容や構造をパーシング（解析）し、データベースに登録していきます。
クローリングされるサイトにするためにできること
検索エンジンに検索結果として表示されるためには、クローリングされることが必要だということはご理解いただけたと思います。では、実際にクローリングされるためにはどうすればいいのかについて開設します。
サイトマップをGoogle提供のツールに登録する
SEO対策を練ってキーワードをちりばめ、他サイトにリンクしてもらうなど、サイトがクローリングされやすくなる方法はいくつかあります。
しかし最も手早く確実なのは、Googleが提供する無料のツール「Google Search Console」を使用することです。新しいサイトはこの「Google Search Console」を利用して、サイトマップを登録すれば、クローリングを開始させることができます。
クローラーの訪れを待つだけでなく、こちらからサイト情報をGoogleに提供する形です。
クローラーが巡回しやすいサイト構成を心がける
クローラーが巡回しやすくなるサイトにするためにはいくつか心がける点があります。いくつか代表的なものをあげてみます。
- テキストリンクを設置する。（画像リンクにはテキストリンクも併設します）
- パンくずリストを設置する。
- 前後のページに移動するページネーションは数字で設置する
- 外部サイトからリンクを貼る
- リンクのないページを減らす
- リンクのアンカーテキストを改善する
クローラーに親切なサイト構成を心がければ、より多くの情報が蓄積され、検索順位もあげやすくなります。
自社サイトへのクローリングを開始させる
「Google Search Console」にサイトマップを登録することにより、Webサイト全体へのクローリングを要求することができます。
また、新規のWebページやクローラーにインデックスされていないページへのクローリングを促すには、「Google Search Console」の中の機能である「Fetch as Google」を使用します。
この機能でGoogleにページ単位でサイト情報を登録することができます。また、「Fetch as Google」を使用すれば、なかなかインデックスされなかったWebページへのクローリング促すことができます。
ツールを使って自社サイトのクローリング状況の確認もできる
「Google Search Console」を使用すれば、自社サイトにどれくらいの頻度でクローラーが訪れているかを確認することもできます。取得できる情報は以下のものがあります。
- 1日あたりのクロールされたページ数
- 1日あたりのダウンロードされたデータ（KB）
- ページのダウンロードに要した時間
クローリングを意識したサイト設計ならランサーズでプロに依頼！
自社サイトへのアクセス数アップの近道がクローリング対策と言えます。しかし、細部までクローリングされやすさを意識したサイトを作成するのは、クローラーの動きを熟知していないと、難しい側面があります。
今すでにあるWebサイトにクローリング対策を盛り込みたい場合、または新規Webサイトの構築をお考えの場合はプロに依頼するというのも一つの手です。
クローリング対策に精通したプロのように、細かい条件付きで専門家を探す場合はクラウドソーシングサービスを利用するのがおすすめです。様々な分野のプロが登録しているので、クローリング対策のプロもきっと見つかるはず。