GASによるGooNetのスクレイピングについて

Question

実現したいこと

gasを使用してGooNetの車の価格をスクレイピングしたいです。（やりすぎるとアウトらしいので、節度を持って行う前提です）

しかしながら、GooNetのURLが、「クラウン」を検索しても「プリウス」を検索しても同じで、
かつ、２ページ目以降も同じURLなので、私の欲しいデータが取れません。

こちら、どうすれば車種ごとや２ページ目以降のデータもとれるでしょうか。

該当のソースコード

JavaScript(gas)

const url ="https://www.goo-net.com/cgi-bin/fsearch/goo_used_search.cgi?category=USDN";
const html =UrlFetchApp.fetch(url);
let text =html.getContentText("utf-8");

//以降にスクレイピングのスクリプトが続きますが、そちらは問題なく動きます。

試したこと

URLを基にHTMLを取得しているので、URLが変わらないことには手も足も出せず、
調べても不明だったので質問させていただきました。

何卒宜しくお願い致します。

Answer 1

見た感じJavaScript使ってPOSTメソッドで検索条件を送ってるっぽいから
該当のJavaScriptや開発者ツールで解析してパラメータの付け方と検索するサーバープログラムを動かすURLを探す必要がありそうです。

Comments

[shun8132]

ご回答ありがとうございます！
やはりURLを探し出すということが大事なんですね。

頑張ってみます！
この度はお力添えをいただき、ありがとうございました！