Webスクレイピングで一部分が読み取れない

Question

Webスクレイピングで株価などの情報を取得し、機械学習で予想できたら面白そうだなと思い、Webスクレイピングを勉強し始めました。

しかしながら、肝心の株価の部分が取得できないのです。

以下がソースコードとなります。

該当のソースコード

import urllib.request as req
from bs4 import BeautifulSoup

url = 'https://jp.kabumap.com/servlets/kabumap/Action?SRC=basic/top/base&codetext=1305'

res = req.urlopen(url)
soup = BeautifulSoup(res,"html.parser")
print(soup.find(id="stockNameText"))
print(soup.find(id="spPrice"))

実行すると、
<span id="spPrice"></span>
と、肝心の株価の部分が取得できないのです。
requestsモジュールを利用や、res.textに書き換えを行ったのですが、
Noneが返ってくるなど、やはり解決ができません。
また、他のwebサイトでも試してみたのですがやはり株価の部分の取得ができません。

株価の部分は変化することが何かに影響しているのではないかと考えております。

お手数ではございますが、解決策や原因などご教授の程よろしくお願い致します。

Answer 1

<span id="spPrice"></span>
と、肝心の株価の部分が取得できないのです。

そういうHTMLなので、ちゃんと<span id="spPrice"></span>が取得できています。
ブラウザでspanの中に数字が見えるとすると、JavaScriptで挿入しているのでしょう。
urllibやrequestsはHTMLを取得するだけであり、JavaScriptを実行する機能は無いので、HTMLのままです。
（print(res)して表示されるHTMLで確認しましょう）

対応としては、2案。
・JavaScript部分をあなたが読んで解析する
・Seleniumなどブラウザを使うライブラリを使い、ブラウザにJavaScriptを実行してもらう

Comments

[Kei_net]

原因及び対応策のご教授ありがとうございます。
丁度、取り組んでいる参考書でSleniumを扱っている章に入るので、
試してみたいと思います。
解決次第、また書き込みさせていただきます。

Answer 2

そもそもなのですが、デイトレードなどのためにリアルタイムに株価を取得したいということでなければpandas-datareaderのような既存のパッケージを利用して取得する方が楽です。
参考：Pythonで日本の株価を取得する方法