Pythonでプルダウンを選択して表示させたページをスクレイピングする方法について

Question

Pythonでプルダウンを選択して表示したページをスクレイピングしたいです。

html = "https、、、"
browser.get(html)
time.sleep(1)

soup = bs4.BeautifulSoup(browser.page_source, 'html.parser')
sp = soup.find_all('span') [55]
print(sp.text)

↑プルダウンを選択して表示したページと、選択する前のデフォルトのページのURLが同じであるため、スクレイピングを実行するとデフォルトのページの方をスクレイピングしてしまい困っています、、、
URLを指定しなくてもスクレイピング出来る方法など、プルダウンを選択して表示したページをスクレイピングする方法をご存知の方がいらっしゃったらご教授をしていただけないでしょうか？
よろしくお願いします。

Answer 1

URLが変わらないという事は、プルダウン変更によってデータだけ取ってきて、現在のページにJavascriptでデータを流し込むAjax(非同期通信)という方式を使ったページという事になります。

クリックやプルダウン変更等でサーバーにリクエストした後、

画面全体をリフレッシュして新しく画面全体を書き換えるページを「静的なページ」、
画面はそのままで、データだけ書き換える替えるページを「動的なページ」

と言ったりもします。

で、BeautifulSoupというツールは、前者の「静的なページ」にしか使えません。

動的なページをスクレイピングする場合、「HTMLをダウンロードしてきて解析する」というアプローチではなく、「ブラウザを自動操作する」系のツールを使います。プログラムにより、ブラウザ上で「ページ表示してプルダウンをクリックして選択する」という動きをシュミレートし、目的の要素の中身を取り出します。

「Selenium」「Puppeteer」「Playwright」あたりが有名です。

Comments

[LuiNy7tiNYEfg3A]

ご回答ありがとうございました。
大変分かりやすいです。教えていただいた他のライブラリで頑張ってみます。