Pythonで複数ページからスクレイピングしたい

Question

前提・実現したいこと

1ページ目から10ページ目までの映画のタイトルをスクレイピング したいと思っています。
ページurlの取得まではできているのですが、dataframeに表示できないので教えてくださいmm

該当のソースコード

url = 'https://movies.yahoo.co.jp/movie/'
base = 'https://movies.yahoo.co.jp/'
movies = soup.select('#list-module')
names_japan = []

#1ページ目を格納
urls.append(url)

#2ページ目から10ページまでを格納
num = 2
while num <= 10:
    url = base + 'movie/?page=' + str(num)
    res = requests.get(url)
    soup = bs4(res.text, 'html.parser')
    num += 1

    urls = []

    for i in range(len(urls)):
      new_url = base + urls[i]
      res = requests.get(new_url)
      time.sleep(3)
      soup = bs4(res.text, "html.parser")
      title_elem = soup.select('h1 span')
      title_elem = list(title_elem)
      for m in title_elem:
        names_japan.append(m.text)

import pandas as pd
df = pd.DataFrame({ '映画名/邦題':names_japan})

df

補足情報（FW/ツールのバージョンなど）

mac使用しています

Answer 1

提示されているコードは何だか判りませんが動作しませんので、全体的に書き直してみました。

import requests
from bs4 import BeautifulSoup
import pandas as pd

url = 'https://movies.yahoo.co.jp/movie/'
page_end = 10

movie_title = []
for p in range(1, page_end+1):
  res = requests.get(f'{url}?page={p}')
  soup = BeautifulSoup(res.content, 'html.parser')
  title = soup.select('.col > a')
  movie_title += [t.get('title') for t in title]

df = pd.DataFrame({'映画名/邦題': movie_title})
df.index += 1

print(df.to_markdown())

	映画名/邦題
1	燃えよ剣 (2020)
2	CUBE 一度入ったら、最後 (2021)
3	007／ノー・タイム・トゥ・ダイ (2020)
4	DUNE/デューン 砂の惑星 (2020)
5	護られなかった者たちへ (2021)
6	そして、バトンは渡された (2021)
7	[PG-12] 最後の決闘裁判 (2021)
8	[PG-12] ひらいて (2021)
9	マスカレード・ナイト (2021)
10	劇場版 ルパンの娘 (2021)
:	:
151	瞽女 GOZE (2020)
152	[R-15] 宮本から君へ (2019)
153	今日から俺は!!劇場版 (2020)
154	トムボーイ (2011)
155	アミューズメント・パーク (1973)
156	ヒキタさん！ ご懐妊ですよ (2019)
157	[PG-12] ファイト・クラブ (1999)
158	[R-15] 告白 (2010)
159	浜の朝日の嘘つきどもと (2021)
160	ベニスに死す (1971)

Comments

[tynk]

melianさんありがとうございます！
他の項目も取ってきたかったので都度タイトルのページurlに入ってタイトルを取るような動作にしたいのですが、その場合はどうすればいいのでしょうか・・？

[melian]

はい、その場合は title = soup.select('.col > a') の後で、例えば
for t in title:
movie_url = t.get('href')
:
として、それぞれの映画のページの URL を取得してスクレイピングします。

[tynk]

ありがとうございました！