スクレイピングでエラーを回避したい

Question

タワーレコードのサイトから楽曲情報をスクレイピングをしたいと思っています。
しかし、下記の「divs = ul.li.div.div.find_all("div")」のところでエラーが出てしまい、おそらく「divタグがない」的なことを言われていると思うのですが、
このエラーが出た場合は、「取得不可」のようなメッセージを出したいと思っているのですがどのようにすればよいのか教えていただけませんでしょうか。

■エラー文言
AttributeError: 'NoneType' object has no attribute 'find_all'

import requests
import csv
import urllib
import time
import pandas as pd
from bs4 import BeautifulSoup

data = []
    res = requests.get('https://tower.jp/item/533192/')
    print('getting page... ', res)
    
    soup = BeautifulSoup(res.content, "html.parser")
    
    #パッケージタイトル
    package_title = soup.title
    if soup.find(class_ = 'product-title'):
        title = soup.find(class_ = 'product-title').text
        artist = soup.find(class_ = 'product-artist').text

        #フォーマットや発売日などの情報
        f = [tag.text for tag in soup('th')]
        item_format = f[0].strip()
        item_constitution = f[1].strip()
        item_import = f[2].strip()
        item_packagetype = f[3].strip()
        item_release = f[4].strip()
        item_number = f[5].strip()
        item_rabel = f[6].strip()
        item_sku = f[7].strip()

        f_d = [tag_dis.text for tag_dis in soup('td')]
        item_format_dis = f_d[0].strip()
        item_const_dis = f_d[1].strip()
        item_import_dis = f_d[2].strip()
        item_packagetype_dis = f_d[3].strip()
        item_release_dis = f_d[4].strip()
        item_number_dis = f_d[5].strip()
        item_rabel_dis = f_d[6].strip()
        item_sku_dis = f_d[7].strip()

        #トラックリストを抜き出す
        data = []
        for ul in soup.find_all("ul", class_="accordion"):
            divs = ul.li.div.div.find_all("div")
            if divs is None:
                time.sleep(3)
            elif divs:
                no = divs[2].get_text(strip=True).replace(".", "")
                title = divs[3].get_text(strip=True)
                track_time = divs[4].get_text(strip=True)

                data.append({"No": no,
                             "Title": title,
                             "track_time": track_time,
                             'パッケージ名': package_title.text,
                             '作品タイトル': title.strip(),
                             'アーティスト名': artist.strip(),
                             item_format:item_format_dis,
                             item_constitution:item_const_dis,
                             item_import:item_import_dis,
                             item_packagetype:item_packagetype_dis,
                             item_release:item_release_dis,
                             item_number:item_number_dis,
                             item_rabel:item_rabel_dis,
                             item_sku:item_sku_dis,
                             })
                data = pd.DataFrame(data)
                print(data)

                data.to_csv('release_533192.csv', encoding='utf_8_sig', index=False)

            else:
                print('list is empty')

Comments

[meg_]

> しかし、下記の「divs = ul.li.div.div.find_all("div")」のところでエラーが出てしまい、おそらく「divタグがない」的なことを言われていると思うのですが、
エラーメッセージ全文が確認できないと回答が難しいかと思います。

[nifill]

すみません、ご指摘ありがとうございます。追記しました！何卒よろしくお願い致します。

Answer 1

とりあえず、

            divs = ul.li.div.div.find_all("div")

のところを

            try:
                divs = ul.li.div.div.find_all("div")
            except AttributeError:
                divs = None

に変えてテストしてみてはいかがでしょうか。

Comments

[nifill]

ありがとうございます！解決いたしました！