BeautifulSoupを利用してスクレイピングをしようとしています。
videoDataというリストにdatumというdict型のデータを格納したいと考えております。
しかし、videoDataの中身を確認すると、データが4つしか格納されていません。
本来のデータ数は30個以上あり、
print(movieurl)で確認しても取得できているurlは30個あります。
おそらくappend周りが原因だと思いますが、一通り書き直しても
うまくデータが取得できません。
そのため、教えていただけると助かります。
python
#総ページ数を算出 total_pages = html.find_all('a',attrs = {'class':'page-link'}) for total_page in total_pages : total = int(total_page.text) print(total) while index <= total: #選択したカテゴリのhtmlを取得 res = requests.get(url) html = BeautifulSoup(res.text,'html.parser') # 対象ページのURLを取得 detail_url_list = html.find_all('div',attrs = {'class':'content-info'}) datum = {} #サイト内情報を取得 for detail_url in detail_url_list : detail = detail_url.find('a').get('href','何もありません') movie_url = root_url + detail print(movie_url) #対象ページの全体情報を取得し、htmlパーサーを走らせる。 inside_url = requests.get(movie_url) inside_html = BeautifulSoup(inside_url.text,'html.parser') #もし要素があったら、対象ページの中からタイトル、説明文、埋め込みタグ、サムネイルを取得し、datumに格納する。 description = inside_html.find('div',attrs = {'style':'padding:70px 10px 70px 20px;'}).text.replace('\n','').strip() title = inside_html.find('h1').text if inside_html.find('video') is None: continue else: thumbnail = inside_html.find('video')['poster'] video = inside_html.find('textarea',attrs = {'id':'video_embed_code'}).find('iframe') datum['タイトル'] = title datum['説明文'] = description datum['サムネイル'] = thumbnail datum['埋め込みタグ'] = video #リストに格納する videoData.append(copy.copy(datum)) index+=1 url = f'{root_url}/videos/{category}/?page={index}' print(url)
まだ回答がついていません
会員登録して回答してみよう