スクレイピングについて

Question

初心者です。何卒よろしくお願いいたします。

ただいま、情報を扱うウェブサイトを制作しています。
情報といっても、個人情報等ではないのですが、
この情報を抜き取られる（スクレイピング）ことに、
何か対策ができないかと色々調べています。

実際にスクレイピングをされないようにするには、
スクレイピングができないと対策ができないので、
ここを今同時に勉強中なのですが、そもそも
スクレイピングをされないようにする対策はとれるものでしょうか？

お詳しい方、お手数ですがご教示いただけますと嬉しいです。

Answer 1

自分はよくスクレイピングをする側ですが...(対策する側にもいますが)

極端な話、ブラウザで取得できる情報は、プログラムでブラウザの動きを模倣すれば、絶対に情報を取得できると思います。まぁ、複雑なフォームだったり、Cookieを使ったり、jsで動的にパラメータ作られると一定以上のスキルがないと難しいですけどね。

個人的に一番難しいと思うのはリクエスト制限ですかね
たとえば、情報が10000件あった場合、1ページに10000件の情報が載っていれば1回のリクエストで全件とれます。
1ページに10件だったら1000回リクエストが必要です。もし、相手が人だったら必要な情報はせいぜい数件のはずなので、1000回リクエストしてくるのは異常です。なので、一定以上リクエストしたらBANするような仕組みは結構きついですね。
※まぁいろんなサーバから少しずつやればとれますけどね...。
※ただし、安易にリクエスト制限をつけると、本来のユーザや正規のボットも弾いてしまうので気をつけてください。

なお、スクレイピング対策しすぎると、SEO的によくない可能性もあるかもですね...

Comments

[ytbaby]

icchii様
ありがとうございます！
参考にさせていただき、勉強します。

Answer 2

スクレイピング対策