質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

URL

URL(ユニフォームリソースロケータ)とは、インターネット上のリソース(Webページや電子メールの宛先等)を特定するための形式的な記号の並びの事を言う。

コードレビュー

コードレビューは、ソフトウェア開発の一工程で、 ソースコードの検査を行い、開発工程で見過ごされた誤りを検出する事で、 ソフトウェア品質を高めるためのものです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

5252閲覧

Pythonで複数ページからスクレイピングしたい

tynk

総合スコア6

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

Beautiful Soup

Beautiful Soupは、Pythonのライブラリの一つ。スクレイピングに特化しています。HTMLデータの構文の解析を行うために、HTMLタグ/CSSのセレクタで抽出する部分を指定することが可能です。

URL

URL(ユニフォームリソースロケータ)とは、インターネット上のリソース(Webページや電子メールの宛先等)を特定するための形式的な記号の並びの事を言う。

コードレビュー

コードレビューは、ソフトウェア開発の一工程で、 ソースコードの検査を行い、開発工程で見過ごされた誤りを検出する事で、 ソフトウェア品質を高めるためのものです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2021/10/29 15:12

前提・実現したいこと

1ページ目から10ページ目までの映画のタイトルをスクレイピング したいと思っています。
ページurlの取得まではできているのですが、dataframeに表示できないので教えてくださいmm

該当のソースコード

python

1url = 'https://movies.yahoo.co.jp/movie/' 2base = 'https://movies.yahoo.co.jp/' 3movies = soup.select('#list-module') 4names_japan = [] 5 6#1ページ目を格納 7urls.append(url) 8 9#2ページ目から10ページまでを格納 10num = 2 11while num <= 10: 12 url = base + 'movie/?page=' + str(num) 13 res = requests.get(url) 14 soup = bs4(res.text, 'html.parser') 15 num += 1 16 17 urls = [] 18 19 for i in range(len(urls)): 20 new_url = base + urls[i] 21 res = requests.get(new_url) 22 time.sleep(3) 23 soup = bs4(res.text, "html.parser") 24 title_elem = soup.select('h1 span') 25 title_elem = list(title_elem) 26 for m in title_elem: 27 names_japan.append(m.text) 28 29import pandas as pd 30df = pd.DataFrame({ '映画名/邦題':names_japan}) 31 32df

補足情報(FW/ツールのバージョンなど)

mac使用しています

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

提示されているコードは何だか判りませんが動作しませんので、全体的に書き直してみました。

python

1import requests 2from bs4 import BeautifulSoup 3import pandas as pd 4 5url = 'https://movies.yahoo.co.jp/movie/' 6page_end = 10 7 8movie_title = [] 9for p in range(1, page_end+1): 10 res = requests.get(f'{url}?page={p}') 11 soup = BeautifulSoup(res.content, 'html.parser') 12 title = soup.select('.col > a') 13 movie_title += [t.get('title') for t in title] 14 15df = pd.DataFrame({'映画名/邦題': movie_title}) 16df.index += 1 17 18print(df.to_markdown())
映画名/邦題
1燃えよ剣 (2020)
2CUBE 一度入ったら、最後 (2021)
3007/ノー・タイム・トゥ・ダイ (2020)
4DUNE/デューン 砂の惑星 (2020)
5護られなかった者たちへ (2021)
6そして、バトンは渡された (2021)
7[PG-12] 最後の決闘裁判 (2021)
8[PG-12] ひらいて (2021)
9マスカレード・ナイト (2021)
10劇場版 ルパンの娘 (2021)
::
151瞽女 GOZE (2020)
152[R-15] 宮本から君へ (2019)
153今日から俺は!!劇場版 (2020)
154トムボーイ (2011)
155アミューズメント・パーク (1973)
156ヒキタさん! ご懐妊ですよ (2019)
157[PG-12] ファイト・クラブ (1999)
158[R-15] 告白 (2010)
159浜の朝日の嘘つきどもと (2021)
160ベニスに死す (1971)

投稿2021/10/29 17:44

melian

総合スコア20655

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

tynk

2021/10/30 01:36

melianさんありがとうございます! 他の項目も取ってきたかったので都度タイトルのページurlに入ってタイトルを取るような動作にしたいのですが、その場合はどうすればいいのでしょうか・・?
melian

2021/10/30 02:04

はい、その場合は title = soup.select('.col > a') の後で、例えば for t in title: movie_url = t.get('href') : として、それぞれの映画のページの URL を取得してスクレイピングします。
tynk

2021/10/30 08:00

ありがとうございました!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問