[GAS]UrlFetchAppにおいて、RESTでは応答が帰ってくるサイトが、GASでは帰ってこない。

前提

GASにてモノタロウサイトをスクレイピングしようとしてます。
スクレイピングを実行すると応答が帰ってこず困っております。

GAS 以外のツールで取得できることを確認済み。
GASは他のURLにて、取得出来ることを確認済み。

実現したいこと

GASを用いて、「https://www.monotaro.com/api/item/2.0/lookup?monotaro_no=08509907&response_group=2 」よりサイト情報を取得する。

発生している問題・エラーメッセージ

GASにて実行すると以下の状態で、止まってしまう。(他サイトURLでは取得できることを確認済み)

該当のソースコード

javascript
1function monotaroTest() {
2  // URLフェッチ
3　// スクレイピング対象のURLを指定
4  let URL = "https://www.monotaro.com/api/item/2.0/lookup?monotaro_no=08509907&response_group=2";
5  const res = UrlFetchApp.fetch(URL);
6  console.log(res);
7}

試したこと

Chrome アプリ「Advanced REST Client」にて取得可能なURLかを確認。
結果　問題なく応答が来ていることを確認済み。

補足情報（FW/ツールのバージョンなど）

エラーメッセージ等がGASより出力されないため、問題点がわからず困っております。
もしわかる方いらっしゃいましたら、回答いただければ幸いです。

Zuishin

2022/10/04 04:57

対策されてるんじゃないですかね。そもそもそんなことやっていいんですか？

Gorilla

2022/10/04 05:03

Googleからのアクセスを弾いている可能性は、考えられます。スクレイピングについて、違法性を認識していないのですが、どういった違法性があると思われますか？(相手側サーバー負荷を考慮した上で)

Zuishin

2022/10/04 05:07

違法でなければ何をやってもいいわけではありませんが、規約で禁止されているなら契約不履行の不法行為にはなりそうです。法的な詳細は専門家に聞いてもらうとして、まずそれがサイトに許可された行為なのかを自分で調べてください。

Gorilla

2022/10/04 05:14

モノタロウ自体に、スクレイピングに関する規約は確認した限りは、存在しませんでした。スクレイピング自体は、ご存知のようにサイトアクセスした際の情報をプログラムにて取得する手法なため、違法な情報にアクセスしている状態ではありません。またサイト側に異常な負荷をかけるような処理も行っていないため、問題はないと認識しています。公開されたサイト情報に、GASを用いて取得する点についてその他違法性等があれば、ご教授いただければ幸いです。

Zuishin

2022/10/04 05:24

スクリプトに問題ないことが他サイトで確認できているなら、そのサイトの問題ということになると思います。それがサイト管理者による意図的な対策であれば、法的にどうこういう問題ではないと思いますが、調べて(問い合わせて)みましたか？理屈を言って無理やり突破しても、対応作が更新されればうごかなくなる可能性があります。問題がないかどうかは、スクレイピングをする側が決めることではありません。

YAmaGNZ

2022/10/04 07:22

（3）本サービスに接続しているサーバーもしくはネットワークを妨害、混乱させる行為（4）手段を問わず、本サービスの運営を妨害する行為このあたりがそういう意図がなかったとしてもひっかかりそうな規約ですね

Gorilla

2022/10/04 09:00

monotaroから、「robot.txt」が公開されていたので貼っておきます。 https://www.monotaro.com/robots.txt 私が無知でしたが、上記テキストファイルにスクレイピング等を用いる際のルールが記載されているようです。(robots.txtとは　https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ja) モノタロウのrobots.txtを確認したところ、今回スクレイピングしようとしている「/api/item/」は「Disallow」に含まれていないため問題ないと思われます。

Zuishin

2022/10/04 09:03

CORS で禁止されてるなら問題あるでしょう。

Gorilla

2022/10/04 10:31

スクレイピングにおいて、CORS制約がかかっている場合、どの点が問題が発生するのかご教授いただきたいです。

Zuishin

2022/10/04 10:55

セキュリティ目的で制約をかけているというのをわかりやすく言うと、家に家族以外が入れないよう鍵をかけるようなものです。その場合、呼び鈴を押して許可を得るのが正しい入り方で、穴を探して忍び込むのは間違ったやり方です。管理者の許可を得てください。許可が得られないのであれば、それは行ってはいけないことです。本当にこの説明、必要ですか？