PythonでWebスクレイピングする時の知見をまとめておく

SRANK

- はじめに - 最近はWebスクレイピングにお熱である。趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ - - 知見まとめ - requests BeautifulSoup Mechanize PyQuery Selenium.webdriverとPhantomJS…