BeautifulSoupでのスクレイピングで、うまくデータを追加できない

Question

BeautifulSoupを利用してスクレイピングをしようとしています。
videoDataというリストにdatumというdict型のデータを格納したいと考えております。
しかし、videoDataの中身を確認すると、データが4つしか格納されていません。
本来のデータ数は30個以上あり、

print(movieurl)で確認しても取得できているurlは30個あります。
おそらくappend周りが原因だと思いますが、一通り書き直しても
うまくデータが取得できません。

そのため、教えていただけると助かります。

 #総ページ数を算出
total_pages = html.find_all('a',attrs = {'class':'page-link'})

for total_page in total_pages :
    total = int(total_page.text)
print(total)

while index <= total:
    #選択したカテゴリのhtmlを取得
    res = requests.get(url)
    html = BeautifulSoup(res.text,'html.parser')

# 対象ページのURLを取得
    detail_url_list = html.find_all('div',attrs = {'class':'content-info'})
    datum = {}

    #サイト内情報を取得
    for detail_url in detail_url_list :
        detail = detail_url.find('a').get('href','何もありません')
        movie_url = root_url + detail
        print(movie_url)

        #対象ページの全体情報を取得し、htmlパーサーを走らせる。
        inside_url = requests.get(movie_url)
        inside_html = BeautifulSoup(inside_url.text,'html.parser')
        #もし要素があったら、対象ページの中からタイトル、説明文、埋め込みタグ、サムネイルを取得し、datumに格納する。

        description = inside_html.find('div',attrs = {'style':'padding:70px 10px 70px 20px;'}).text.replace('\n','').strip()
        title = inside_html.find('h1').text
        if inside_html.find('video') is None:
            continue
        else:
            thumbnail = inside_html.find('video')['poster']
        video = inside_html.find('textarea',attrs = {'id':'video_embed_code'}).find('iframe')
        datum['タイトル'] = title
        datum['説明文'] = description
        datum['サムネイル'] = thumbnail
        datum['埋め込みタグ'] = video
        #リストに格納する
    videoData.append(copy.copy(datum))
    index+=1
    url = f'{root_url}/videos/{category}/?page={index}'
    print(url)

Comments

[melian]

スクレイピング対象の URL を教えて貰えますか？

Answer 1

コードを見る限り、以下の条件に合致するとcontinueするのでappendされません。

        if inside_html.find('video') is None:
            continue

Comments

[Flutter_kun]

---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
Input In [91], in <module>
68 title = inside_html.find('h1').text
69 description = inside_html.find('div',attrs = {'style':'padding:70px 10px 70px 20px;'}).text.replace('\n','').strip()
---> 70 thumbnail = inside_html.find('video')['poster']
71 video = inside_html.find('textarea',attrs = {'id':'video_embed_code'}).find('iframe')
72 titleList.append(title)

TypeError: 'NoneType' object is not subscriptable

というエラーが表示されるので、それを回避するためのコードになります。

[Flutter_kun]

おっしゃる通り、continueされてたので、appendされてませんでした！