9月13日、「How to Crawl the Web with Scrapy」が公開された。

スクリーンショット: How to Crawl the Web with Scrapy

この記事はPythonのScrapyを利用して、indeed.comの求人情報をスクレイピングするチュートリアルになっている。
Webスクレイピングとは、公開されているウェブサイトからデータをダウンロードするプロセスのことである。
APIや公開データがない場合にも、データを取得することができる。

スクレイピングの例として、以下のようなものがある。

• 競合他社の価格をモニタリングして、プライスマッチング（競争力のある価格設定）を行う
• 様々なウェブサイトから統計情報を収集し、ダッシュボードを作成する
• 金融関係のフォーラムやツイッターを監視し、特定の資産に対する感情を算出する

ただし、Webスクレイピングは利用規約に違反する恐れがあるので、注意が必要だ。

「免責事項：indeedのWebスクレイピングは、同社の利用規約に違反しています。この記事は、教育目的のためにのみ用意されています。Webサイトをスクレイピングする前に、必ず利用規約を読み、robots.txtのガイドラインに従ってください。」

目次

• データウェアハウスに関する考察
• プロジェクトのセットアップ
• 開発環境
• スクレイピング出発点のURL
• ページの解析
• 結果の保存
• 結果の分析
• まとめ

このチュートリアルでは環境構築からスクレイピング、データの保存を取り上げている。

Webクローラーを書くためにscrapyを使用すると、ウェブページからデータを解析して保存するという最初のステップを通過することができる。
これは、Webクローリングのデータに依存するプロジェクトの最初の構成要素だ。

データを取得した後は、そこから必要な価値を抽出することができる。
例えば、スクレイピングされたすべてのウェブサイトを、独自の基準でソート、フィルタリングして表示するウェブサイトを作ったり、キーワード検出を利用して、自分が最も興味を持っているリストを作れたりする。

このチュートリアルのすべてのコードを含むpythonファイルはここからダウンロードが可能だ。