BeautifulSoupを使い、リストに入れたURLの指定した要素を取得

Question

###前提・実現したいこと
pythonを初めて4か月目です。まだまだ初心者でわからないことが多く
お助けいただけますと幸いです。

BeautifulSoupを使い、リストに格納したURLの指定した要素を取得したい
・メニュー名
・参考料金
・施術方法
・悩み　など。

URLの例はこちら↓
https://clinic.beauty.hotpepper.jp/H000481998/treatment-menus/

###該当のソースコード

from bs4 import BeautifulSoup
import requests
import pandas as pd
import time

links = [
"https://clinic.beauty.hotpepper.jp/H000481998/treatment-menus/",
"https://clinic.beauty.hotpepper.jp/H000482096/treatment-menus/",
]

menu_list = []

for i in range(len(links)):
    
    r = requests.get(links[i])
    time.sleep(3)
    soup = BeautifulSoup(r.text,'html.parser')
    get_menu_list = soup.find(class_ = "treatment-menu")
    
    for n in range(len(get_menu_list)):
        get_link = get_menu_list[n].find_all(class_ = "treatment-menu__name")

###発生している問題・エラーメッセージ
上記のコードの get_menu_list → get_menu_list[n]にすると下記のエラーがでるのですが
なぜエラーが排出されるかわからず。。どなたかお分かりの方いましたらご教示いただけますと幸いです。

    ---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
<ipython-input-33-378ee7d4b23b> in <module>
      9 
     10     for n in range(len(get_menu_list)):
---> 11         get_link = get_menu_list[n].find_all(class_ = "treatment-menu__name")

c:\users\hayato fukawa\appdata\local\programs\python\python39\lib\site-packages\bs4\element.py in __getitem__(self, key)
   1404         """tag[key] returns the value of the 'key' attribute for the Tag,
   1405         and throws an exception if it's not there."""
-> 1406         return self.attrs[key]
   1407 
   1408     def __iter__(self):

KeyError: 0

Answer 1

解決コード

from bs4 import BeautifulSoup
import requests
import pandas as pd
import time

links = [
"https://clinic.beauty.hotpepper.jp/H000481998/treatment-menus/",
"https://clinic.beauty.hotpepper.jp/H000482096/treatment-menus/",
]

for i in range(len(links)):

    r = requests.get(links[i])
    time.sleep(3)
    soup = BeautifulSoup(r.text,'html.parser')
    menu_list= soup.find_all(class_ = "treatment-menu__item")
    for n in range(len(menu_list)):
      name = menu_list[n].find(class_ = "treatment-menu__name").text
      print(name)

とすれば、取得できます。

エラー原因

get_menu_list = soup.find(class_ = "treatment-menu")

で得られたget_menu_listをlistのように扱っているからです。

type(get_menu_list)

とすると

<class 'bs4.element.Tag'>

になり、listではありません。

<class 'bs4.element.Tag'>について

<class 'bs4.element.Tag'>はエラーメッセージ(tag[key] returns the value of the 'key' attribute for the Tag, and throws an exception if it's not there)にあるような挙動をします。こちらを参考にしてください。

Comments

[hafuuuuu]

ありがとうございます！

教えていただいたコードで取得できました。