【スクレイピング】webページの為替相場が取得できない

Question

実現したいこと

三菱UFJの外国為替相場一覧から
001 USD(米ドル)のT.T.Sの値を取得したいのですが、スクレイピングで該当部分を抽出すると、為替値がハイフン（----）で置換されてしまいます。どうすれば数値を取得できるでしょうか。

該当のソースコード

Entry_url1 = "https://www.bk.mufg.jp/ippan/kinri/list_j/kinri/kawase.html"#スクレイピング対象URL

response = requests.get(Entry_url1)#htmlを指定したURLから取得 
soup = BeautifulSoup(response.content,"html.parser")#取得したhtmlをパース
sp = soup.select_one('#G001ACRA')#該当箇所をselecterで指定
print(sp) #出力結果　<td class="a-text-right" id="G001TTSZ">----</td>

試したこと

上記のwebページの該当部分をedgeの開発者ツールで見てみると数値（137.31）が入っているのですが、スクレイピングを実行すると数字がハイフン（----）に代わっています。

　HTMLの記述：<td class="a-text-right" id="G001TTSZ">137.31</td>

　スクレイピング結果：<td class="a-text-right" id="G001TTSZ">----</td>

Answer 1

上記のwebページの該当部分をedgeの開発者ツールで見てみると

これが間違い。requests.getで取得した物からスクレイピングする場合は、開発者ツールじゃ無くて Ctrl-U で表示される「ページのソースを表示」を見ます。これは、requests.getで得られるresponse.contentと同じです。

開発者ツールで表示されるのは、それに対してJavaSriptが追加変更した後の結果なので、一般的には異なります。

そこに情報がない場合は、requests.getで取得は無理で、ブラウザを使うSeleniumライブラリなどを使う必要亜画あります。

Comments

[kurage]

早速ありがとうございます。
Ctrl+Uで見たところ、数字が入っておらず、すべてハイフンになっていました。
該当ページは"当サイトではJavaScriptを使用しています"とありましたので、ご指摘のとおりSeleniumを使う必要がありそうです。大変勉強になりました。