nokogiriを用いて行うスクレイピングに関して。

Question

スクレイピングはDOS攻撃にあたるそうですが、

nokogiriの場合

url = ~~~~~~~~
html = open(url, "r:binary").read
doc = Nokogiri::HTML(html.toutf8, nil, 'utf-8')

とし、each文などでループした場合
1リクエストごとにsleepで停める処理を行う必要はあるのでしょうか？
docに代入された時点でリクエスト1回しているという認識で大丈夫ですか？

スクレイピング素人なものでよくわからなくて困ってます。
よろしくおねがいします。

Answer 1

回答は既にありますが、

docに代入された時点でリクエスト1回しているという認識で大丈夫ですか？

という時点で、それぞれの行の意味を理解していないと言うことですよね。

自分が書いているプログラムの意味を理解できるまでは、ループしてのスクレイピングなどに手を出さない方が良いかと思います。

Comments

[kaju]

確かにおっしゃる通りですね。
もう少し勉強したいと思います。

Answer 2

docに代入された時点でリクエスト1回しているという認識

Nokogiriはパーサで、リクエストしているのはopen（OpenURI）です。
OpenURIを使うときに、openメソッドを再定義しているはずです。

---

スクレイピングはDOS攻撃にあたるそうですが

両者はイコールではありませんが、
過度なスクレイピングが攻撃と見なされる場合はあります。

となると、「過度」の目安は何か、という話になってきます。
これは法律ではなくて、自主的で慣習的な規約に過ぎませんが、
「1秒ルール」というのが一番有名だと思います。

クローラーが同じサイトに連続してアクセスするのは、
1度につき1秒以上の間隔を空ける、というルールです。
分かりやすいし、私も推奨したいルールです。

さらに、「robots.txt」を読んで、クローラー禁止サイトでは、
クローリングを避けるルールも同時に推奨したいです。
絶対訴えられないという保証はありませんが、そのようにすればより安全でしょう。

---

1リクエストごとにsleepで停める処理を行う必要

私の場合は、1リクエストごとに、1秒以上確実にスリープを入れています。

もしかすると、「それだとムダな待機時間が生じるのではないか」、
という疑問がおありになるかもしれませんね。

しかし、時間を計測するなどして、その余分を厳密に詰めていくより、
たとえば複数サイトに分散アクセスした方が、はるかに効率的になると思うので、
私はそこまで詰め込んでいません。むしろ2～3秒待つとか、より余裕を持たせています。

Comments

[kaju]

とてもわかりやすかったです。参考にさせて頂きます！
ありがとうございました！！

Answer 3

ざっと調べただけですが、
NokogiriはHTMLを解析するためのもので、
リクエストを投げるものではありません。

今回のソースの場合、
open()のタイミングで1リクエストされています。

1リクエストごとにsleepで停める処理を行う必要はあるのでしょうか？

1リクエストごとにsleepしようが、相手がDOSアタックだと認識すれば、対応を取られてしまいます。
例えばIPの遮断や、威力業務妨害での通報などです。

通報された後は、法律的には具体的な値は決まっていないので、
判例やサーバの状況、公共性、その他諸々から判断されて、
その行為が犯罪であるか判断されることでしょう。

Comments

[kaju]

詳しく説明してくださり、ありがとうございました。