この投稿は クローラー／スクレイピング Advent Calendar 2014 - Qiita の15日目です。 クローリングをするときに、元になるURLを指定すると思います。 多くは決まったURLを指定してキックすると思いますが、 サーチエンジンのAPIをつかって指定するURLを取…