WEBスクレイピングして入手した数値の出力結果が０となる

Question

WEBスクレイピングして入手した数値の出力結果が０となる

定期的に通信速度を調査しようと、通信速度測定サイトのスクレイピングを試みましたが、
HTML上では数値が入っているもののスクレイピングした出力結果が０となってしまいます。

発生している問題・エラーメッセージ

HTMLの記述のうち、以下であれば３を出力したいと考えましたが以下の出力結果となります。
<span class="extra-measurement-value-container succeeded" id="latency-value">3</span> ==$0

0
0
0

該当のソースコード

import time
import requests
from selenium import webdriver
from bs4 import BeautifulSoup
from time import sleep

url = 'https://fast.com/ja/'
driver = webdriver.Chrome()
driver.get(url)
time.sleep(30)
driver.find_element_by_id('show-more-details-link').click()
time.sleep(30)
html = requests.get(url)
soup = BeautifulSoup(html.text, 'html.parser')

latency = soup.find('span', id ='latency-value')
bufferbloat = soup.find('span', id ='bufferbloat-value')
upload = soup.find('span', id ='upload-value')

print(latency.string)
print(bufferbloat.string)
print(upload.string)

試したこと

==$0とHTMLに記述がある（以下補足に記載）のでそれが原因かと思い調べましたが
原因とは異なるようでした。（または理解出来ませんでした）

補足情報（FW/ツールのバージョンなど）

Answer 1

このコードでは、確実に0しか取れないのではないでしょうか。

理由

実装では、

1. Seleniumでアクセス
2. スピードテストの結果を待つ
3. 詳細を表示する
4. requestsで再度アクセス
5. requestsの結果をパース

となっています。

Selenium側で行ったスピードテストを一切利用せずに、新しくrequestsでリクエストをしているように見えます。
この場合、当然ながらrequests側のレスポンスはテスト前の状態です。

どうするか

無理にBeautifulSoupに渡そうとせずに、全部Seleniumでやったほうが楽な気がします。

例: (動作は未確認)

time.sleep(30)

latency = driver.find_element_by_id('latency-value').text
bufferbloat = driver.find_element_by_id('bufferbloat-value').text
upload = driver.find_element_by_id('upload-value').text

print(latency)
print(bufferbloat)
print(upload)

もし、どうしてもBeautifulSoupでパースしたいのであれば、
requestsで取り直すのではなく現時点でSelenium側が持っているコンテンツを渡す必要があります。

例: (動作は未確認)

# 2度目のsleep以降
soup = BeautifulSoup(driver.page_resource, 'html.parser')

latency = soup.find('span', id ='latency-value')
bufferbloat = soup.find('span', id ='bufferbloat-value')
upload = soup.find('span', id ='upload-value')

print(latency.string)
print(bufferbloat.string)
print(upload.string)

補足

==$0とHTMLに記述がある（以下補足に記載）のでそれが原因かと思い調べましたが
原因とは異なるようでした。（または理解出来ませんでした）

確認のために、Chromeの開発者ツールなどで見ていると思うのですが、
== $0は開発者ツール側で出している項目（何かは知らない）なので、
今回の件とは無関係です。

Comments

[HiroMura]

ご丁寧にありがとうございます。
実装の流れを記載頂き、とてもすっきりと理解することが出来ました！