beautifulsoup4 を使って、値を取得したいのですが ？になってしまいます。

Question

python3 を使って、下記のようなコードを書いて、価格情報だけを
取り出そうと思っています。

今回テストに使ったサイトは　http://www.jepx.org/market/'　です
そして試しに、<p class="figcaption" id="chartDAAll">7.76</p>
に囲まれている7.76という数字を取り出したいと思いまして
beautifulsoup と　re を使いました。

---

import re
import requests
from bs4 import BeautifulSoup

target_url = 'http://www.jepx.org/market/'

r = requests.get(target_url)         #requestsを使って、webから取得
soup = BeautifulSoup(r.text, "html.parser")
soup = soup.find_all(p=re.compile("chartDAAll"))
print (soup)

---

しかしながら上記のコードを実行した結果は数値の7,76をとることはできず
？となってしまいます

# python3 jepx.py
[<p class="figcaption" id="chartDAAll"> ?</p>]

なぜでしょうか？
何か間違っておりますでしょうか？
ご指摘いただければと思います。

よろしくお願いいたいます

Answer 1

まず仮説を立てる、調べる、実際に試してみる、という3つのサイクルを意識してみましょう。

1. 仮説

おそらくですが取得しようとしているページでHTMLの生成の一部にJavaScriptが使われているからBeatutifulsoupやrequestsで取ってきた(ダウンロードしてきた)HTMLファイルと質問者さんのブラウザで表示されているHTMLが異なっているのだと思います。

上記のような仮説を立てたら次はGoogleで検索してたくさん記事を流し読みしましょう。

2. 調査

例えば今回であれば「スクレイピング JavaScript 取れない」等で検索してみると下記の参考に挙げたような参考になるWebサイトがたくさん見つかります。(実際に質問者さんもいろいろと検索して読んでみてください！)

※参考1：[Python] 気象庁からアメダスの最新の気温を取得して利用する
※参考2：requestsで取得できないWebページをスクレイピングする方法

3. 実験

一旦、下記のようなスクリプトで値は取得できると思いますので試してみてください。
その上でrequests_htmlについて更に自分で調べて勉強してみてください！
※例えばなぜ下記のスクリプトでsleepを入れいているのか、どういった場合にrequests+Beautifulsoupでなくrequests-htmlを使うほうが良いのか、についても考えてみると勉強になって良いかと！

from requests_html import HTMLSession

target_url = 'http://www.jepx.org/market/'

# セッション開始
session = HTMLSession()
r = session.get(target_url)

# ブラウザエンジンでHTMLを生成させる
r.html.render(sleep=3)

# スクレイピング
ans = r.html.find('#chartDAAll', first=True)
print("ans", ans.text)  # debug

一旦、これを回答とします。

Comments

[dame-dame]

ありがおうございます。できました。javascript でも他の言語でもできるかどうかいろいろ勉強してみます