店舗の住所をスクレイピングしたいが上手く抜けない。（ついでにクローリングもしたい）

Question

前提・実現したいこと

https://www.cosmospc.co.jp/shop/kyushu/fukuoka/fukuoka/
から店舗の名前と住所をスクレイピングで
抜きたいと考えています。

（本当はhttps://www.cosmospc.co.jp/shop/から、
一気に抜きたいのですが、やり方が分からず、、、）

一応、コードとしては動いてはくれているのですが、
テーブルの中身が空なので、
タグの部分に問題があると思うのですが、
よくわかりません。

該当のソースコード

import requests
import pandas as pd
from bs4 import BeautifulSoup
import os
import geocoder
from time import sleep

url1 = "https://www.cosmospc.co.jp/shop/kyushu/fukuoka/fukuoka/"
cols = ['label','address']
df = pd.DataFrame(index=[],columns=cols)

for i in range(1,17):
  response = requests.get(url1 + str(i)).text
  soup = BeautifulSoup(response, 'html.parser')

  for tag in soup.find_all('div', class_="label"):
    atag_stname = tag.find('ah3', class_="storeName")
    atag_adname = tag.find('span', class_="zip")

    record = pd.Series([atag_stname.text,atag_adname.text,latlon.latlng],index=df.columns)
    df = df.append(record,ignore_index=True)
    sleep(2)
df.to_csv("df_cosmos.csv")

試したこと

findの部分を変えたりしていますが、
上手くいきません。。。

補足情報（FW/ツールのバージョンなど）

参考にしているサイトはこちらです。

何卒宜しくお願い致します。

Answer 1

HTML の構造というのは、運営者がサイトを更新すれば変化するものなので、スクレイピング系の記事は情報が古くなっていて動かない場合が多いです。

スクレイピングをする場合は、まずサイトの構造を Chrome の開発者ツール など使って、確認してください。

スクレイピングの手順

1. Chrome の開発者ツールでサイト構造を確認する。
2. 取得したい情報を抽出するために必要な目印を探す。(クラス名、タグの階層構造など)
3. find()/find_all() または select()/select_one() を使って、タグを抽出する。

以下、CSS セレクタ を使って、店名、郵便場号、住所を抽出するサンプルコードになります。

import requests
import pandas as pd
from bs4 import BeautifulSoup
from time import sleep

url = "https://www.cosmospc.co.jp/shop/kyushu/fukuoka/fukuoka/"
res = requests.get(url)
soup = BeautifulSoup(res.content, "html.parser")

data = []
for shop in soup.select(".shop-list_box"):
    name = shop.h3.rb.text
    zip_code = shop.select_one(".address .zip").next_sibling
    address = shop.select_one(".address br").next_sibling

    data.append({"Name": name, "ZipCode": zip_code,  "Address": address})
    
data = pd.DataFrame(data)
print(data)
#      Name   ZipCode                           Address
# 0    姪浜駅前  819-0002                福岡県福岡市西区姪の浜4丁目22-4
# 1     神松寺  814-0121              福岡県福岡市城南区神松寺1丁目22-29
# 2     東光寺  812-0896               福岡県福岡市博多区東光寺町1丁目9-7
# 3      伊都  819-0367                 福岡県福岡市西区西都1丁目7-26
# 4      井尻  811-1302                 福岡県福岡市南区井尻1丁目23-1
# 5      板付  812-0888                福岡県福岡市博多区板付6丁目11-5
# 6      吉塚  812-0041               福岡県福岡市博多区吉塚5丁目13-28
# 7   天神大丸前  810-0004  福岡県福岡市中央区渡辺通5丁目24-30東カン福岡第一ビル103
# 8   中洲五丁目  810-0801       福岡県福岡市博多区中洲5丁目2-1Ｊパーク中洲ビル1階
# 9     原中央  814-0022                 福岡県福岡市早良区原3丁目14-1

Comments

[Pablito]

tiitoi様

ご回答ありがとうございます。
大変参考になりました！

引き続きよろしくお願いいたします。