芋の独り言

当ブログへのアクセスは当ブログのプライバシーポリシーに同意したものとみなします.

アクセスのし過ぎには注意!節度あるスクレイピング生活を

Webサイトでクローリング+スクレイピングしている身としてはハッとさせられるというか,なんかね... アクセスしすぎると,しばらくそのサイトにアクセスできなくなることがあったり...(別の原因かもしれんけどね) requestsは便利なクローリングモジュールですが,気を付けないとね.
アクセス過多は避けるように時間間隔(最低1秒)を空けることもそうですし,
そもそもクローリング+スクレイピングを禁止しているサイトにはアクセスしないようにサイトの注意事項・利用規約とかはよく見ておくこと,
また,クローリング+スクレイピングは許可していても,得たデータの公開やそのサイトが許可していない用途で使用しないように, 気を付けなくてはなりませんね...
とはいえ,情報解析という目的なら,禁止されているサイトでなければ,大丈夫?そうですケドね.