前提・実現したいこと
グルメ特集ページのTOPページから各放送回ページに飛び、
そこにある店舗情報を全て(電話番号以外)抽出したいです。
最終的には、各ページごとにpage_title.csvという風に書き出したいです。
今月から勉強を始めたため、不明点がたくさんあります。ぜひお力添えいただけますと幸いです。
発生している問題・エラーメッセージ
全てを1つずつ作っている時はエラーは出ないのですが、for文を作ってまわそうとするとエラーが出ます。
エラーメッセージ
shop_name = shop_name.text.replace("◆","")のところで、
'NoneType' object has no attribute 'text'とエラーが出ます。
該当のソースコード
Python
1import requests 2from bs4 import BeautifulSoup 3import time 4 5#topページから1つのページを表示させる 6res = requests.get("https://www.tvq.co.jp/o_j/otonanatv/maiu/") 7res.encoding = res.apparent_encoding 8top_soup = BeautifulSoup(res.text, "html.parser") 9top_page_titles = top_soup.find_all("li", attrs={"class":"column-list-item"}) 10page_urls = [] 11shop_infos = [] 12for top_page_title in top_page_titles: 13 elem_top_page_title = top_page_title.find("a", attrs={"class":"column-list-link"}) 14 15 con_url = elem_top_page_title["href"] 16 17 ori_url = "https://www.tvq.co.jp/" 18 page_url = ori_url+con_url 19 page_urls.append(page_url) 20 21 #1つ1つのページの詳細 22 for page_url in page_urls: 23 res_each = requests.get(page_url) 24 res_each.encoding = res.apparent_encoding 25 soup = BeautifulSoup(res_each.text, "html.parser") 26 27 page_title = soup.h3.text.replace("\u3000","") 28 shops = soup.find_all("li", attrs={"maiu-detail-item"}) 29 for shop in shops: 30 31 shop_name = shop.h4 32 shop_name = shop_name.text.replace("◆","") 33 34 shop_address = shop.p 35 shop_address = shop_address.text.replace("住所:","") 36 37 el_menu = shop.find("ul", attrs={"class":"maiu-menu-items"}) 38 shop_menu = el_menu.text.replace("\n", "") 39 40 shop_info=[shop_name, shop_address, shop_menu] 41 42 shop_infos.append(shop_info) 43
試したこと
replace記述を消してみた。⇨意味なし
shop_nameが何をさすのか確認した⇨◆がついた店名文字列
補足情報(FW/ツールのバージョンなど)
Jupyter Lab 3.8