- 【保存版】Pythonでスクレイピングする方法を初心者向けに徹底解説!【サンプルコードあり】 | DAINOTE
- スクレイピングの倫理①海外のトラブル事例 - Qiita
- Webスクレイピングの注意事項一覧 - Qiita
- Webスクレイピングの法律周りの話をしよう! - Qiita
- 【スクレイピングと法律】スクレイピングって法律的に何がOKで何がOUTなのかを弁護士が解説。 | IT法務や仮想通貨、ICO、AIの法律に詳しい弁護士|中野秀俊
- PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
Webサイトでクローリング+スクレイピングしている身としてはハッとさせられるというか,なんかね...
アクセスしすぎると,しばらくそのサイトにアクセスできなくなることがあったり...(別の原因かもしれんけどね)
requests
は便利なクローリングモジュールですが,気を付けないとね.
アクセス過多は避けるように時間間隔(最低1秒)を空けることもそうですし,
そもそもクローリング+スクレイピングを禁止しているサイトにはアクセスしないようにサイトの注意事項・利用規約とかはよく見ておくこと,
また,クローリング+スクレイピングは許可していても,得たデータの公開やそのサイトが許可していない用途で使用しないように,
気を付けなくてはなりませんね...
とはいえ,情報解析という目的なら,禁止されているサイトでなければ,大丈夫?そうですケドね.