Python Webスクレイピング JavaScriptの動的コードを取得したいです。

Question

Pythonを初めてまもない初心者で、プログラミングも勉強始めたばかりです。
最終的にWebスクレイピングができるようになりたいと思っています。

最初に食べログで練習しているのですが、検索してもわからず初歩的な部分で、つまづいているので詳しい方教えて下さいm(__)m

※Windows10のコマンドプロンプトから実行しています。
※Webスクレイピングの規約は確認しています。

★やりたいこと★

以前質問させて頂いた際、下記画像のような食べログの予約空状況（日付と〇とか休み等）をリスト化したいと思うのですが、

■以前いただいた回答では、
・ブラウザで開いて見えるHTMLとrequestsで取得できるHTMLが違う
・JavaScriptで動的に構成されている
・ブラウザなどを通す方法

などを教えてもらったのですが、これをどうにか実現する方法はありますでしょうか？

ちなみにホットペッパーでは下記画像のカレンダーの日付や◎などは取得できました。

その時に使用したコードはこれです。

import requests
from bs4 import BeautifulSoup

url = "https://www.hotpepper.jp/strJ001099007/"

response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
yoyakus = soup.find_all("div", class_="multiLineList")

#テーブル作成
table = []

for yoyaku in yoyakus:
    date = yoyaku.find("p", class_="jscCellNumber cellNumber")
    vacancy = yoyaku.find("p", class_="cellMark")
    table.append([date.text, vacancy.text])

import pandas as pd

Column = ['日付', '空情報']

# データフレームを作成
df = pd.DataFrame(table,columns=Column)

# CSV ファイル出力
df.to_csv(r"C:\python/vacancy.csv",encoding='utf_8_sig')

ちんぷんかんぷんな質問でしたらすいません(´;ω;｀)。

どちらも選択してる店舗はランダムです。
教えていただけると嬉しいです。

宜しくお願いします。

Answer 1

Seleniumでページにアクセスしてpage_sourceをBeautifulSoupに渡すと
Javascriptが実行された後のHTMLで処理することができます。
requestsだとJavascript実行前のHTMLとなります。

soup = BeautifulSoup(driver.page_source, 'html.parser')

Comments

[pythonbegginer]

いつもありがとうございます！なるほどです！requestsではなくてpage_sourceでやればいいのですね。
調べてみます！