GASでmercariのスクレイピングで検索結果が取得できない

前提・実現したいこと

現在GASにて「mercari」のスプレイピングに挑戦しています
URL　https://www.mercari.com/jp/　では問題なく取得できます
しかし
URL　https://www.mercari.com/jp/search/?keyword=tes　では取得できません
検索ワードに「tes」と入力し検索後のURLです

発生している問題・エラーメッセージ

リクエストに失敗しました（エラー: 403）と表示されてしまいます

該当のソースコード

GAS

var payload = {
"keyword" : "tes",
}
var options = {
"method" : "POST",
"payload" : payload,
"followRedirects" : true
}

var url = 'http://www.mercari.com/jp/search/';
var response = UrlFetchApp.fetch(url,options);
var html = response.getContentText('UTF-8');
Browser.msgBox(html,Browser.Buttons.OK);

ためしたこと
「http」を「https」に変えてみましたがうまくいきません

お分かりの方いらっしゃいましたらご教授いただければ幸いです

t_obara

2019/09/11 07:21

普通にcurlでも同様なので、mercariさんの方でUAなどを見てチェックしているのではないでしょうか。

行動規範の内容に同意します

回答2件

そもそも論ですが、mercari.comにおいても勝手なスクレイピングは禁止事項です。

By using our Service, you agree not to engage in the following Prohibited Conduct:（中略）

・Interfering with the operation of the Service or any user’s enjoyment of the Service, including by: （中略）(d) interfering with or disrupting any network, equipment, or server connected to or used to provide the Service, or violating any regulation, policy, or procedure of any network, equipment, or server;use any robot, spambot, spider, crawler, scraper or other automated means or interface not provided by us to access the Service or to extract data; （Prohibited Conductより）

投稿2019/09/11 06:55

maisumakun

総合スコア145184

t_obara

2019/09/11 07:00

https://www.mercari.com/jp/help_center/getting_started/prohibited_conduct/ 日本語サイトの方はそこまで明確に禁止されていないのですよねぇ、何故だろう。。まぁ、見つかったら損害を被ったとか、色々と怒られる可能性はあるでしょうけれど。

TakesiHoriba

2019/09/11 07:15

maisumakun様ありがとうございます英語の記載は確認しておりませんでした「t_obara」様が記載いただきました「禁止されている行為」は一読しており「•弊社が提供するサービスに繋がっているサーバーやネットワークに対して悪影響を及ぼすこと」と書かれていましたので「悪影響」にならない程度に個人としてする分（普通にWEB閲覧しているのと同じ程度）なら問題ないと判断しておりましたご回答ありがとうございます

行動規範の内容に同意します