【スクレイピング】object has no attribute 'text'. が出るが、そもそもtextの値だけ取れない状況

●前提・実現したいこと

とあるサイトから、株のデータを取得するのを
スクレイピング練習としてやっています。

●発生している問題・エラーメッセージ

ブラウザで見ている画面にはテキストの値があるのに、
BeautifulSoupで取得してみてもテキストの値がありません。

↓こちらがサイトをChromeの検証で見たところ。
id = "ema20"のテキストが3.94と表示されています。

↓こちらがBeautifulSoupで取得したもの
何故かテキストの値がありません。

この状況だと、idを指定してtextを抽出しようとしても
object has no attribute 'text'.
というエラーメッセージが返ってきます。

●該当のソースコード

※urlは伏せています。

import requests
from bs4 import BeautifulSoup

url = "xxxxxxxxxxxxx"
header = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.61 Safari/537.36"}

keyword = 'xxxx'
url = url + keyword

response = requests.get(url, headers=header)
soup = BeautifulSoup(response.content, "html.parser")

print(soup)

●自分で調べたことや試したこと

上記のように、user-agentなどは試してみました。

meg_

2022/06/11 16:32

> とあるサイトから、株のデータを取得するのを > スクレイピング練習としてやっています。確認ですがそのサイトはスクレイピング禁止ではないサイトでしょうか？

jl0500727

2022/06/12 01:20

/robots.txtを確認しています。一部はDisallow設定されていますが、私が参照しようとしているページについては問題ないです。

meg_

2022/06/12 04:23

> /robots.txtを確認しています。利用規約を確認された方が良いかと思います。 https://developers.google.com/search/docs/advanced/robots/intro?hl=ja > robots.txt ファイルとは、検索エンジンのクローラに対して、サイトのどの URL にアクセスしてよいかを伝えるものです。

jl0500727

2022/06/12 12:19

ご指摘ありがとうございます。利用規約確認したところ、スクレイピングがNGのようです。こちらのサイトでの練習はやめておきます。改めて、ご指摘ありがとうございました。

行動規範の内容に同意します

回答1件

無いものは無いのでしょう。
requests.getでHTMLを取得するなら、ブラウザでそれに対応するのは「検証」でなく「ページのソースを表示」です。
「検証」で表示されるのは、「ページのソースを表示」で得られる物を、JavaScriptが加工した結果です。
JavaScriptで加工した結果のHTMLが欲しい場合は、「Seleniumライブラリ+ブラウザ」を使ってブラウザにJavaScriptを実行してもらう例が多いです。

投稿2022/06/11 14:56