BeautifulSoupでうまくデータが取れません。

Question

BeautifulSoupを使用してデータを取得しようとしましたがデータが抜けてしまいます。
<time class="TextLabel__text-label___3oCVw TextLabel__black___2FN-Z TextLabel__medium___t9PWg">19年-31日-5月</time>
ですがBeautifulSoupで取り込むと”19年-31日-5月”が抜け落ちてしまいます。
どうすれば抜け落ちなくなるかお教えいただければと思います。
よろしくお願いいたします。

import csv
import sys
from urllib.request import urlopen
from bs4 import BeautifulSoup

html = urlopen('https://jp.reuters.com/companies/1377.T/financials')
soup = BeautifulSoup(html, 'html.parser') # BeautifulSoupの初期化
soup.find_all("time")

Comments

[8524ba23]

そもそも<time class="TextLabeltext-label_3oCVw TextLabelblack_2FN-Z TextLabelmedium_t9PWg">19年-31日-5月</time>が存在しないようですが、この存在はどのような手段で確認しましたか？

[pubkaeru1]

https://jp.reuters.com/companies/1377.T/financials
をfirefoxで表示させ、firefoxのWeb開発ツールで見ると
19年-31日-5月は確認できますが、取り込むとなくなって
しまいます。
よろしくお願いいたします。

[8524ba23]

そもそもurlopen(...)の戻り値のhtmlの中に存在しなければ、BeautifulSoupではどうあがいても取得しようがありません。別の手段でHTMLを取得すべきかと。

[pubkaeru1]

アドバスありがとうございます。
ほかの方法を探してみます。
ありがとうございました。

Answer 1

javascriptが作動していないので意味がないかと。requestsモジュールを使用すると行けるかもです。

Comments

[pubkaeru1]

アドバイスありがとうございます。
もう少し調査してます。
よろしくお願いいたします。