Pythonスクレイピング：URLリストを入手→そのURLページごとに一部をスクレイピングしてCSVに保存したい。初学者

実現したいこと

①こちら(https://ramendb.supleks.jp/search?page=1&order=point&station-id=0&tags=3)のURLから各店舗のURLをスクレイピングする。
②各店舗のURLにアクセスし、店舗名、住所、開店日の情報を抽出する。
③終わったら次の20件のページに遷移し、①→②をする。
④抽出した情報をCSVに保存する。

知りたい事

h4タグ内のhref属性のみ抽出し、絶対URLに変換したいが取得したいhref属性が取得されてしまいます。
自分が取得したいのは各店舗のURLです。
どのようにタグを指定すればよいのでしょうか。

自分で書いたコード（途中）

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

shop_list_url = 'https://ramendb.supleks.jp/search?q=&state=&order=point&station-id=&tag%5B%5D=3&type='

ua = ""

#大元URL
base_url = 'https://ramendb.supleks.jp'
#検索URL
shop_url = base_url + "/search?page=1&order=point&station-id=0&tags=3"
page = requests.get(shop_url,headers={"User-Agent" : ua})
soup = BeautifulSoup(page.text,"html.parser")

for a in soup.select("h4 a"):
  shop_url_list = urljoin(shop_url,a.get("href"))

print(shop_url_list)

返し

 print(shop_url_list)
https://ramendb.supleks.jp/rank/hot-shop

試したコード

for a in soup.select("#searched > h4 > a"):
  shop_url_list = urljoin(shop_url,a.get("href"))

至らぬ点が多いと思いますが、宜しくお願い致します。

行動規範の内容に同意します

回答2件

変数は、中身にあった変数名を付けましょう。
User-Agentで返すHTMLを変えているようなので、User-Agentの偽装が必要ですね。

Python
1import requests
2from bs4 import BeautifulSoup
3
4ua = "～～～～～"
5
6host = "https://ramendb.supleks.jp"
7url  = host + "/search?q=&state=&order=point&station-id=&tag%5B%5D=3&type="
8page = requests.get(url,headers={"User-Agent": ua})
9soup = BeautifulSoup(page.text,"html.parser")
10
11a_list = soup.select("h4 a")
12shop_url_list = [a.get("href") for a in a_list]
13
14next_url = soup.select_one("a.next").get("href")
15
16for shop_url in shop_url_list:
17	shop_page = requests.get(host + shop_url,headers={"User-Agent": ua})
18	shop_soup = BeautifulSoup(shop_page.text,"html.parser")
19	～～～～