Python: リスト内の複数URLの更に下層にあるページのスクレイピング

Question

前提・実現したいこと

複数のクリニックのページURLをリストに入れて、
それぞれのクリニックのもっている各プラン詳細ページの情報（プランの料金、プラン名、施術時間など）を取得したい。

リストにいれるURL例：https://clinic.beauty.hotpepper.jp/H000481998/treatment-menus/

各プラン詳細ページ例：
■上記URLの「検査」を押下した先のページ
https://clinic.beauty.hotpepper.jp/H000481998/treatment-menus/52838/?couponId=52838&cstt=1

■上記URLの「オーダーメイドAGA発毛メソセラピー」を押下した先のページ
https://clinic.beauty.hotpepper.jp/H000481998/treatment-menus/52839/?couponId=52839&cstt=2

同様に、プランは全部で9件あるので対象URLは9件

発生している問題・エラーメッセージ

リストに入れた２つのURLそれぞれが持つ
すべてのプラン詳細URLにアクセスして情報（プランの料金、プラン名、施術時間など）を取得することができてない。

おそらくループ処理がうまく行っていないのですが、回避方法がわからず。。

どなたかおわかりの方いましたらお助けいただけますと幸いです。

該当のソースコード

from bs4 import BeautifulSoup
import requests
import pandas as pd
import time

links = [
"https://clinic.beauty.hotpepper.jp/H000481998/treatment-menus/",
"https://clinic.beauty.hotpepper.jp/H000482096/treatment-menus/",
]

#linksに入れたURLをrequests→parser

for i in range(len(links)):

    r = requests.get(links[i])
    time.sleep(3)
    soup = BeautifulSoup(r.text,'html.parser')

    url_list= soup.find_all("a", class_ = "treatment-menu__link")
    print(url_list)

    #url_listからhref属性だけを取り出す(この時点でリストに入れた片方の詳細URLしかとれてない？)
    urls = []
    for n in range(len(url_list)):
        try:
            link_ = url_list[n].get('href')
            urls.append(link_)
        except:
            pass

        #各プランの詳細ページURL生成
        new_urls = []
        for i in range(5):
            url = urls[i]
            new_url = "https://clinic.beauty.hotpepper.jp"+url
            print(new_url)
            new_urls.append(new_url)

            #詳細ページURLのパース
            for n in range(len(new_urls)):
                
                r = requests.get(new_urls[n])
                time.sleep(3)
                soup = BeautifulSoup(r.text,'html.parser')

                #ここから各プラン詳細ページの情報取得
                detail = soup.find(class_ = "l-container")

                plan_name = soup.find(class_ = "menu-summary__treatment-menu-name").text
                #print(detail)
                plan_name


                
                #for m in range(len(detail)):
                    #name = detail[m].find(class_ = "menu-summary__treatment-menu-name").text
                    #print(name)

補足情報（FW/ツールのバージョンなど）

Google colabを使用

Comments

[otn]

> 取得することができてない。
エラーメッセージが出るとか、エラーが出ないけど0件だとか、現象を書いてください。

Answer 1

「#各プランの詳細ページURL生成」の行から下のネストが１段深くなってしまっているようです。
また、「for i in range(5):」でループ回数を固定しているので、参照先のリンク数が 5件未満の場合もエラーになってしまう恐れがあります。

先ず、ループの使い方を見直すと、原因となる箇所の特定にたどり着きやすくなると思います。

修正前：for i in range(len(links)):
　　↓
修正後：for link in links:

「リスト内の何番目を処理中か」が必要な場合は enumerate()関数 を利用すると良いですが、
今回のケースでは不要なようです。

下記に修正例を示します。参考になれば幸いです。

from bs4 import BeautifulSoup
import requests
import pandas as pd
import time

links = [
"https://clinic.beauty.hotpepper.jp/H000481998/treatment-menus/",
"https://clinic.beauty.hotpepper.jp/H000482096/treatment-menus/",
]

for link in links:
    print('-----', link)
    r = requests.get(link)
    soup = BeautifulSoup(r.text,'html.parser')
    url_list= soup.find_all("a", class_ = "treatment-menu__link")
    #print(url_list)
    time.sleep(3)

    for i, url in enumerate(url_list):
      if i > 5:
        break
      url = url.get('href')
      new_url = "https://clinic.beauty.hotpepper.jp" + url
      print(i, 'new_url', new_url)
      r = requests.get(new_url)
      soup = BeautifulSoup(r.text,'html.parser')

      detail = soup.find(class_ = "l-container")
      plan_name = soup.find(class_ = "menu-summary__treatment-menu-name").text
      print(plan_name)
      time.sleep(3)

Comments

[hafuuuuu]

ご連絡が遅れましたがこちらでうまくいきました。
ありがとうございました！！