【スクレイピング】object has no attribute 'text'. が出るが、そもそもtextの値だけ取れない状況

Question

●前提・実現したいこと

とあるサイトから、株のデータを取得するのを
スクレイピング練習としてやっています。

●発生している問題・エラーメッセージ

ブラウザで見ている画面にはテキストの値があるのに、
BeautifulSoupで取得してみてもテキストの値がありません。

↓こちらがサイトをChromeの検証で見たところ。
id = "ema20"のテキストが3.94と表示されています。

↓こちらがBeautifulSoupで取得したもの
何故かテキストの値がありません。

この状況だと、idを指定してtextを抽出しようとしても
object has no attribute 'text'.
というエラーメッセージが返ってきます。

●該当のソースコード

※urlは伏せています。

import requests
from bs4 import BeautifulSoup

url = "xxxxxxxxxxxxx"
header = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.61 Safari/537.36"}

keyword = 'xxxx'
url = url + keyword

response = requests.get(url, headers=header)
soup = BeautifulSoup(response.content, "html.parser")

print(soup)

●自分で調べたことや試したこと

上記のように、user-agentなどは試してみました。

Comments

[meg_]

> とあるサイトから、株のデータを取得するのを
> スクレイピング練習としてやっています。
確認ですがそのサイトはスクレイピング禁止ではないサイトでしょうか？

[jl0500727]

/robots.txtを確認しています。
一部はDisallow設定されていますが、
私が参照しようとしているページについては問題ないです。

[meg_]

> /robots.txtを確認しています。
利用規約を確認された方が良いかと思います。

https://developers.google.com/search/docs/advanced/robots/intro?hl=ja
> robots.txt ファイルとは、検索エンジンのクローラに対して、サイトのどの URL にアクセスしてよいかを伝えるものです。

[jl0500727]

ご指摘ありがとうございます。
利用規約確認したところ、スクレイピングがNGのようです。
こちらのサイトでの練習はやめておきます。
改めて、ご指摘ありがとうございました。

Answer 1

無いものは無いのでしょう。
requests.getでHTMLを取得するなら、ブラウザでそれに対応するのは「検証」でなく「ページのソースを表示」です。
「検証」で表示されるのは、「ページのソースを表示」で得られる物を、JavaScriptが加工した結果です。
JavaScriptで加工した結果のHTMLが欲しい場合は、「Seleniumライブラリ+ブラウザ」を使ってブラウザにJavaScriptを実行してもらう例が多いです。

Comments

[otn]

ブラウザの「ページのソースを表示」と一致しない場合は、
User-Agent以外の何らかのヘッダを見てHTMLを変えているのかもしれません。

[jl0500727]

参考になるご回答ありがとうございます。
やはりSelenium利用が良い選択肢になるのですね。
まずはページのソースを表示を確認してみます。