VPS上でのpythonを用いたスクレイピングについて

Question

前提

VPS上でpythonを用いたスクレイピングアプリを作成しています。
requestsとBeautifulSoupを使用しています。
VPSは XServerVPS, Ubuntu 24.04.1 を使用しています。

発生している問題・エラーメッセージ

VPS上からwebサイトにアクセスするとVPNを使用していると判定されてしまい、データを取得することができません。

なぜVPNと判定されてしまうのでしょうか？また、解決方法がありましたら教えていただきたいです。
よろしくお願いいたします。

Answer 1

借りているVPSサーバーから相手サーバーへは、VPNやProxyを使わず、直接アクセスですよね？

VPNを使用していると判定されてしまい、データを取得することができません。

この推測が正しいのかしっかり判断すべきと思いますが、仮にその推測が正しいとすると、借りているサーバーと同じネットワークのサーバーがVPNを運営していて、IPアドレスがある範囲でブラックリストに載っているとか？

「VPNを使用していると判定されてしまい」が正しい場合、真っ当な解決方法としては、
・相手のサイトにVPNと判断する判断ロジックを聞いてそう判断されないようにする
回答内容によって、
・プログラム修正で判断ロジックを逃れられそうならプログラム修正する
・相手の判断理由がIPアドレスの問題なら、誤判断なので、
・・・相手サイトもしくはブラックリスト管理者にブラックリストから除いてもらう
・・・VPS会社に相談する
・・・別のVPS会社に乗り換える（同じ事が起こらない保証はないので最後の手段か）
など。

「全く同じプログラムで、別のネットワーク環境からだと出来る」という前提で回答しています。

Comments

[SPICA]

回答ありがとうございます。
requestsを使用して直接アクセスしていて、全く同じソースコードでWindowsPC上で正常動作を確認しています。
解決策、参考にさせていただきます。

[otn]

> requestsを使用して直接アクセスしていて、
そういうプログラム内容の話じゃなくて、ネットワーク的にVPNやProxyなどを使っていないかと言うことです。多分使っていないのでしょうけど、明記した方が良い。

また、質問の仕方としては「VPNを使用していると判定されてしまい」のようあ主観表現を避けて、
ファクトの提示（エラーメッセーコピペなど）が良いと思います。
（エラーメッセージ内容が「VPNを使用していると判定」と日本語でそのまま出て、それ以外の表示が一切無いののなら主観じゃないですが）