スクレイピングは、Webから自動的に情報を抽出して取得する技術です。データを集めるというだけに留まらず、整理や加工も行えます。ビジネスに役立つことの多いスクレイピングについて、理解を深めていきましょう。
スクレイピングとは必要な情報の収集。効率的に情報を集めよう！
インターネットには大量の情報があふれています。無数にあるサイトの中から必要な情報だけを集めたいと思っても、なかなか時間が足りませんよね。スクレイピングを利用すれば面倒な作業を自動化できるので、時間の短縮になります。
スクレイピングで情報を取得することの意味とメリットは？
ビジネスでスクレイピングを利用するのは、主にデータベースを作成するためという目的が多いと思われます。スクレイピングなら、Web上で公開されている情報を集めてリスト化することが可能です。
例えば『食べログ』のようなサイトから、レストランの住所や営業時間、定休日などを抽出することができます。
クローリングとはどう違う？
同じようにWebから情報を集めてデータベース化する「クローラー」というプログラムがあります。有名なのは検索エンジンのGoogleが検索結果に表示するデータを集めるために使っているGooglebotでしょう。
Googlebotは自動的にネットを巡回し、あらゆる情報を読み取ってデータを取得するというものです。この巡回する行為を「クロール」、クローラーが情報を集めることを「クローリング」と呼びます。
スクレイピングとクローリングは情報を得るところまでは似たようなものです。しかしスクレイピングの場合、収集した情報を整理・加工する工程まで行えます。この部分がクローリングと異なるところです。
スクレイピングはこうやって活用しよう
よく行われているのは、商品の価格情報の取得です。収集したデータを元に、オンラインの価格比較などができます。自社の製品がECサイトで適正な価格で販売されているかを調査することも簡単です。
また、キーワードを指定して、関連サイトのニュースを取得するのも便利。
他にも気象データや日経平均株価、為替レートなどを行っている人が多いようです。その便利さゆえに、業務だけでなく趣味でスクレイピングを利用する人も増えています。
例えば『小説家になろう』のような小説投稿サイトで、自分好みの作品を探すこともできます。本文をテキストでダウンロードもできるので、いちいちブラウザを立ち上げて読まなくても良くなるというわけです。
スクレイピングは法的に問題が生じる場合も？注意点を知っておこう
とても便利なスクレイピングですが、実は好き勝手にやって良いものではありません。使い方によっては法的に問題が生じることもあるので、何がいけないのかをきちんと知っておいてください。
著作権侵害になってしまう事例もある
Webで誰もが閲覧可能であっても、他人が書いたオリジナルの文章は著作物として著作権法で保護されています。情報のコピー、あるいはデータベース化する行為は著作権者の同意がない場合は著作権侵害となってしまうのです。
しかし膨大なデータすべて、同意を得ることは不可能……ということで、著作権法上の例外規定というのがあります。コンピュータによる情報解析を行うことを目的する場合、著作権者の同意なく行うことを認めるというものです。
つまりデータベースの作成、情報解析のために、Web上のデータを記録媒体にコピーしても問題はありません。ただし、それに関しての禁止行為がいくつかありますので覚えておきましょう。
複製や譲渡は厳禁！
当然ですが、収集したコンテンツをそのまま複製して他者に譲渡する行為は違反となります。集めた情報を他者に見せる必要がある場合、必ずオリジナリティを持たせて再構成するようにしてください。
もちろん、情報解析を目的としない場合のスクレイピングは禁止です。また、クローラーのアクセスを制御するファイル「robots.txt」などが置かれている場合もNGとなります。
サイトの利用規約違反に注意
情報解析目的であれば著作権法には引っ掛からないと言っても、サイトの利用規約で禁止されていたら違反となります。会員登録の際に利用規約に同意したサイトにおいて、スクレイピング禁止とされている場合は行ってはいけません。
負荷をかけてサイト運営を妨げる行為は偽計業務妨害罪
スクレイピングの巡回の頻度が多すぎたり、間隔が短すぎたりすると、サーバーに負荷をかけてしまいます。その行為により目的のサイトの正常な運営を妨げることになった場合、偽計業務妨害罪となってしまうこともあります。
スクレイピングツールのおすすめは？無料で使えるツール
違反行為をしないようにスクレイピングを行う分には、特に問題はありません。それでは、無料で使えるスクレイピングツールをご紹介しましょう。
Google Chromeの拡張機能［Web Scraper］
［Web Scraper］は、WebブラウザGoogle Chromeの拡張機能です。取得したデータをはGoogleスプレッドシートに保存することが可能です。
https://www.webscraper.io/
Googleスプレッドシートの関数を利用する方法も
GoogleスプレッドシートのIMPORTXML関数を使って、簡単なスクレイピングなら行うことができます。目的のサイトのURLと、取得したいファイルが置いてある階層を指定するだけです。XPathの構文を用いれば、HTML文書内の特定の部分だけ抽出することもできます。
［Octoparse］はマウスクリック操作だけで簡単！
［Octoparse］は無料で使えるスクレイピングツールです。メールアドレスで登録した後、ソフトをダウンロード＆インストールする手間がかかりますが、面倒なのはそれだけ。あとは起動してログインすれば、すぐにスクレイピングを開始できます。
抽出したデータはクラウドサーバーに保存され、エクスポートは可能ですが、無料アカウントですと一部制限があります。操作はほぼマウスクリックだけなので、初心者でも簡単だと評判です。
http://jp.octoparse.com/
スクレイピングプログラムの作成を手軽にプロに外注する方法とは？
無料ツールはなんとなく信用できない、しかし有料版を利用するには予算が……とお悩みの人もいるでしょう。そのような場合は、オリジナルのスクレイピングプログラムを制作してもらうという手もあります。
自分好みのスクレイピングプログラムを手に入れよう
既存のツールを使わずにスクレイピングを行いたいなら、プログラムの開発をエンジニアに依頼するのが良いでしょう。エンジニアに希望を伝え、使いやすいスクレイピングツールを作ってもらうことができます。
細かい依頼に応えてもらうならクラウドソーシングがおすすめ
外注を探す時は、近頃話題となっているクラウドソーシングサービスを利用してみてはいかがでしょうか。
クラウドソーシングでは、数多いフリーランスの中から、働いてくれる人を選ぶことができます。言わば、仕事を発注したい人と仕事を受けたい人のマッチングサイトというわけですね。