AWSからのスクレイピングを禁止しているサイトって存在しますか？

Question

ふとスクレイピングをしていたのですが、自PC(Windows)からだと正常に取得できますが、
AWS(Amazon Linux)からだと403エラーになります。

原因がOSによるものなのか、クラウドによるものなのかわかりませんが
後者の場合は存在するのでしょうか？

また後者だった場合の有効的な対処手段ってわかりますか？

Answer 1

スクレイピング禁止を規約に明記しているところで、クラウドやレンタル系のサービスのIPアドレスをブロックしているサイトがありますので、そのWebサイトが拒否している可能性はあると思います。

また、過去の経験で、意図的にアクセス拒否しているのではない場合もありました。

あるレンタルサーバーを利用したサイトで、レンタルサーバーの機能である「海外からのアクセスをブロックする機能」を有効にしたところ、AWS EC2 東京リージョンからのアクセスがブロックされたことがあります。

その際に、IPアドレスの国を調べるサイトに 使用中の AWS EC2のIPアドレスを入力して調べたところアメリカと判定されたということがありました。

Comments

[ryo_0126]

ありがとうございます。
試しに別のVPNサービスを使用したところ、やはり403が返却されました。

海外のマイナーなVPNサービスなら可能か試してみます