ローカルのPythonからrequests でHttpリクエスト行うと200が返ってくるのに、リモートで同じコードを実行すると403が返ってくるサイトについて

Question

前提・実現したいこと

何が要因か知りたい

エラーメッセージ

<Response [403]>

該当のソースコード

headers={'Connection': 'keep-alive',
'Accept-Encoding': 'gzip, deflate',
'Accept': '/',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}

requests.get('https://www.mercari.com/jp/', headers=headers)

試したこと

ローカルPC(windows)のanaconda Qt Console から上記リクエストをかけると<Response [200]>で通ります
しかしながら、リモートのサーバーから上記コードを実行すると<Response [403]>で返ってきます
ちなみにPython自体はあまり関係なくPHPでも似たようなコードを書いてみましたが、リモートでは403
ローカルPCのコマンドラインからcurlを叩いてみたところ、きっちりレスポンスが返ってきますが、リモートからのcurlは403で弾かれます

試したリモートサーバーがAWSオハイオリージョンのLinuxからだったのでIPやLocation?の様なもので弾かれているのかと思い、
国内で借りている別のサーバーで同じコードを実行、curlも試してみましたが403

torブラウザを使ってIPを海外のものに変えてみてもブラウザ越しであれば問題なく表示されます。
かといってAWSのリモートからselenium & Chromeのヘッドレスでアクセスを試みるも403・・・

httpリクエストに関して、それほど深い造詣もないため、何が原因で弾かれているのか皆目見当もつかず、
お知恵を拝借したく投稿させていただきました。

補足情報（FW/ツールのバージョンなど）

全て200で通った：
ローカルで試した環境はwin10の標準コマンドプロンプトからのcurl、Anaconda Qtからの上記pythonスクリプト

全て403で通らず：
リモート/AWSのオハイオ/Cloud9からの上記pythonスクリプトと別途作成のPHP、Linux bashからのcurlコマンド
リモート/coreserver(国内)のLinuxから上記pythonスクリプト　curl

ちなみにローカルではUAだけ偽装すれば200が返ってきます。UA付加なしだと403。

Answer 1

mercari が BOT 対策してるだけでは？

Comments

[katsuwo-kun]

BOT対策していることはもちろん分かるのですが、ローカルでリクエストが通って、リモートで通らないという点を追及しています。このようなサイトを他にあまり見たことがないもので・・・。

[退会済みユーザー]

webブラウザで正常にサイトを表示したあとにコードを動かせば
正常にレスポンスを返してくる場面もあるかもしれない。
ってところだろうかと想像してみる。
セッション管理やjavascriptなどもwebブラウザでは処理できるものの、
BOTの方はそこまでさばいてないでしょ。
サーバー側で接続元IPアドレス単位で拒否してるなら、という前提だけど。

[退会済みユーザー]

弊社が提供するインターフェイスとは別の手法を用いてサービスにアクセスすること

まあ、禁止事項だから量刑をまとうか（笑）

Answer 2

すでにある程度解決されているようですが一応
Conoha東京リージョンとOCP東京リージョンで試したところ、どちらも200でした
OCPにはalways freeがあるのでリモートからアクセスする必要があるのであればここを使うといいかもしれません

OCP東京リージョン

[opc@ocp ~]$ curl https://www.mercari.com/jp/ --head
HTTP/2 200 
content-type: text/html; charset=utf-8
set-cookie: _sfuji=1634565423.662.9176.89819; Path=/jp; Secure; HttpOnly
set-cookie: mwfv=never; Max-Age=7200; Path=/jp; Expires=Mon, 18 Oct 2021 15:57:02 GMT; HttpOnly; Secure
set-cookie: MJP_RSID=93d2785fd3f413e84629f2a427d0d7f3; Max-Age=315360; Path=/jp; Expires=Fri, 22 Oct 2021 05:33:02 GM
T; HttpOnly; Secure
set-cookie: MJP_WEB2SID=58tf9bnebpkj88sev3a41etj4c; Max-Age=315360; Path=/jp; Expires=Fri, 22 Oct 2021 05:33:02 GMT; 
HttpOnly; Secure
x-dns-prefetch-control: off
x-frame-options: SAMEORIGIN
strict-transport-security: max-age=15552000; includeSubDomains
x-download-options: noopen
x-content-type-options: nosniff
x-xss-protection: 1; mode=block
etag: "227a0-3zaIx8zyz4i4a1RW00SdVY/VjO0"
cache-control: private, no-cache, no-store, must-revalidate
pragma: no-cache
set-cookie: merCtx=""; HttpOnly
accept-ranges: bytes
date: Mon, 18 Oct 2021 13:57:03 GMT
via: 1.1 varnish
x-served-by: cache-tyo11937-TYO
x-cache: MISS
x-cache-hits: 0
x-timer: S1634565423.661000,VS0,VE718
vary: Accept-Encoding
content-length: 141216

Conoha東京リージョン

[conoha@conoha ~]# curl https://www.mercari.com/jp/ --head
HTTP/2 200 
content-type: text/html; charset=utf-8
set-cookie: _sfuji=1634565442.579.9186.441042; Path=/jp; Secure; HttpOnly
set-cookie: mwfv=never; Max-Age=7200; Path=/jp; Expires=Mon, 18 Oct 2021 15:57:21 GMT; HttpOnly; Secure
set-cookie: MJP_RSID=b0158fb051580dba334e446c5ec71103; Max-Age=315360; Path=/jp; Expires=Fri, 22 Oct 2021 05:33:21 GM
T; HttpOnly; Secure
set-cookie: MJP_WEB2SID=7rf9pofbmg75ioev9e12tojlt5; Max-Age=315360; Path=/jp; Expires=Fri, 22 Oct 2021 05:33:21 GMT; 
HttpOnly; Secure
x-dns-prefetch-control: off
x-frame-options: SAMEORIGIN
strict-transport-security: max-age=15552000; includeSubDomains
x-download-options: noopen
x-content-type-options: nosniff
x-xss-protection: 1; mode=block
etag: "22447-Xis3w26jnqdEDz60Um1A+1qIRZw"
cache-control: private, no-cache, no-store, must-revalidate
pragma: no-cache
set-cookie: merCtx=""; HttpOnly
accept-ranges: bytes
date: Mon, 18 Oct 2021 13:57:22 GMT
via: 1.1 varnish
x-served-by: cache-hnd18736-HND
x-cache: MISS
x-cache-hits: 0
x-timer: S1634565442.551344,VS0,VE661
vary: Accept-Encoding
content-length: 140359

Answer 3

一応半分ですが、自己解決しました。

リモートからのアクセスが蹴られますが、TakumibooさんがおっしゃるようにIPを含めた複合的な要因で蹴られているようです。

リモートからのselenium × chromeヘッドレス ×　torプロキシ　なら200で表示できるようです。
同じくproxyを刺したrequestsのアクセスが何故蹴られるのかは解明できていませんが、m6uさんのおっしゃるようにjs関係の仕掛け等あるのかもしれませんね。

Comments

[Takumiboo]

正常に表示できるブラウザ(ローカルのPC等でも可)で送っているHTTPヘッダーをまるっと再現してみると、行けたりするかもしれないですね

Answer 4

手元の環境で…

ローカルのBash on Ubuntuなcurlでhttps://www.mercari.com/jp/
→200 通常通り取得

リモート(さくらのVPS)のCentOSなcurlでhttps://www.mercari.com/jp/
→403 エラー

特定のIPアドレスなどを弾いている可能性はありそうですね。

Comments

[katsuwo-kun]

なるほど。ご確認いただき、ありがとうございます。
やはりリモートは通らないんですね。
今のところ自分の仮説としてはIPではないような気はしているのですが、、、どうなんでしょう。
一応理由としてはTorプロキシを使ってAWSからアクセスを試みましたが403、ローカルのPCからTorブラウザでのアクセスは問題なく通っているというのが仮説の根拠ですね・・・。

[Takumiboo]

IPやUA、Cookieなどいろいろな要素で判定されている可能性もあるでしょうね。現にこのサイトではないですがそういったところにあたったことがあるので…

[katsuwo-kun]

なるほど、複合的な要因ということですね。
参考になります。