Q&A
やりたい事
・検索サイトのスクレイピングからGoogleスプレットシートへの書き出し。
スクレイピングしたいサイトの構造
・URLから、派生した地域のURLがあり、そこから各店舗詳細のURLがあります
・階層は
top=ドメイン/
地区=サブドメイン.ドメイン/
地域=関東サブドメイン.ドメイン/都道府県名/
店舗一覧= サブドメイン.ドメイン/都道府県名/shoplist/
各店= サブドメイン.ドメイン/店名/
となります。
現状
・topページから、地区のURLと地区名を抜粋してss(スプレットシート)に書き出した
・店舗一覧ページは1ページづつのスクレイピングに対応出来ているが、ページネーションに対応出来ていない
手が止まっている所
・topページで取得した50程のURLに順番にアクセスして、一つの地域毎に次の階層に行き、スクレイピングし、ページネーションに対応して、最後のページ迄処理が終わったら、次の地域以降でも同じ事繰り返し、全てssに書き込む
としたいのですが、どうしたら良いですか
あなたの回答
tips
プレビュー
