メルカリのスクレイピングで403 forbiddenエラーが発生する原因を解決したい【ローカルはok、本番環境でエラーが発生】

Question

発生している問題

クローラーのプログラム自体は出来ていて、ローカルでは動くのですが本番環境になると「403 forbidden エラー」が発生してしまいます。

ユーザーエージェントの指定やheaderの指定などをしたり、seleniumでクローラーを作り直して実行したりもしましたが、何を試しても403エラーが発生しています。

該当のソースコード

一部、抜粋したプログラムです

これをrails taskで実行しています。

namespace :mercari_bot do
 task :iphone => :environment do
  agent = Mechanize.new
  agent.user_agent = "Mozilla/5.0"
  agent.request_headers = {
   "Accept-Encoding" => "deflate",
   "content-type"=>"text/html;charset=UTF-8"
  }
  page = agent.get("https://www.mercari.com/jp/search/?keyword=iphone")
  elements = page.search(".items-box")
  elements.each do |element|
   puts element.at("h3.items-box-name").text
  end
 end
end

もしくは、手早くエラーを再現する方法として、ローカルでheaderを指定せずにcurlで上記のメルカリのurlを叩くと同じ現象が発生します。

エラーが発生していると思われる原因

メルカリで使われている、varnish serverというのが原因だと思います。
ただ、ローカルでは問題なく動くのに本番だとcurlを含め何をしても403エラーが発生するので、行き詰まってます。

お手数お掛けするのですが、何かこの問題の解決方法がわかる方がいましたら、知見を共有していただければと思います。

よろしくお願い致します。

Comments

[tanat]

https://www.mercari.com/jp/help_center/getting_started/prohibited_conduct/#b17
スクレイピングはメルカリの利用規約に違反すると思われますよ。

Answer 1

「本番」とはどこの環境でしょう？
AWSですと403になる可能性があると思います。

Comments

[akii]

回答ありがとうございます

AWS(EC2)
GCP(GAE)
heroku

の3つで試しましたが、全部ダメでした

[退会済みユーザー]

GCPとHerokuは実際に試したことがないのでわからないのですが、AWSからのアクセスは知る限りではおっしゃる通り403になります。

場所を変えるかプロキシを挟むかなどで回避するしかないと思います。

[39ff]

主要なクラウド/VPSプロバイダはメルカリは全IPブロックしています

[akii]

なるほど

ありがとうございます

別の方法で試してみたいと思います