質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

解決済

BeautifulSoupでのスクレイピングで、うまくデータを追加できない

Flutter_kun
Flutter_kun

総合スコア19

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

1回答

0評価

0クリップ

171閲覧

投稿2022/01/27 03:20

BeautifulSoupを利用してスクレイピングをしようとしています。
videoDataというリストにdatumというdict型のデータを格納したいと考えております。
しかし、videoDataの中身を確認すると、データが4つしか格納されていません。
本来のデータ数は30個以上あり、

print(movieurl)で確認しても取得できているurlは30個あります。
おそらくappend周りが原因だと思いますが、一通り書き直しても
うまくデータが取得できません。

そのため、教えていただけると助かります。

python

#総ページ数を算出 total_pages = html.find_all('a',attrs = {'class':'page-link'}) for total_page in total_pages : total = int(total_page.text) print(total) while index <= total: #選択したカテゴリのhtmlを取得 res = requests.get(url) html = BeautifulSoup(res.text,'html.parser') # 対象ページのURLを取得 detail_url_list = html.find_all('div',attrs = {'class':'content-info'}) datum = {} #サイト内情報を取得 for detail_url in detail_url_list : detail = detail_url.find('a').get('href','何もありません') movie_url = root_url + detail print(movie_url) #対象ページの全体情報を取得し、htmlパーサーを走らせる。 inside_url = requests.get(movie_url) inside_html = BeautifulSoup(inside_url.text,'html.parser') #もし要素があったら、対象ページの中からタイトル、説明文、埋め込みタグ、サムネイルを取得し、datumに格納する。 description = inside_html.find('div',attrs = {'style':'padding:70px 10px 70px 20px;'}).text.replace('\n','').strip() title = inside_html.find('h1').text if inside_html.find('video') is None: continue else: thumbnail = inside_html.find('video')['poster'] video = inside_html.find('textarea',attrs = {'id':'video_embed_code'}).find('iframe') datum['タイトル'] = title datum['説明文'] = description datum['サムネイル'] = thumbnail datum['埋め込みタグ'] = video #リストに格納する videoData.append(copy.copy(datum)) index+=1 url = f'{root_url}/videos/{category}/?page={index}' print(url)

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

melian

2022/01/28 01:05

スクレイピング対象の URL を教えて貰えますか?

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。