pythonでのスクレイピングについて

Question

以下のサイトのLast:の後ろの数字、59.14の部分をスクレイピングしたいと思っています。
https://t3index.com/indices/bit-vol/

以下のようにコードを書いたのですが

import urllib.request
from bs4 import BeautifulSoup


def bitvol():
    url = "https://t3index.com/indices/bit-vol/"
    html = urllib.request.urlopen(url)
    soup = BeautifulSoup(html, "html.parser")

    b = soup.select("#lastvalueBitVol")
   
    print(b)

bitvol()

結果は
[<span id="lastvalueBitVol"></span>]
と返ってきます。
どこが間違っているのでしょうか、教えてください。

Comments

[m.ts10806]

間違ってるかどうかというより、こういうスクレイピングのような手で情報が抜けないように工夫されていると考えるのが自然ではないでしょうか。
スクレイピングは元よりグレーな部分が多い（むしろ黒の時のほうが多いと思う）ものです。

[K.Andou]

単純にはスクレイピング出来ないということですね。
色々と勉強する機会になりました。

[m.ts10806]

いえ、公にAPIなどが提供されていない情報を許可無しに取得するのは事件に発展する可能性があるという話です。

Answer 1

該当のサイトを見ましたが、取得したい数値はグラフが描画された後で表示されていたので、おそらくリクエストして取得したhtmlの中には取得したい数値が入っていないのだと思います。

seleniumでWebブラウザを操作して、グラフや数値が入ってからhtmlの情報を取得して、soup.selectを行えば取得できると思います。

私の環境では下記コードで取得できました。

from bs4 import BeautifulSoup
from selenium import webdriver
from time import sleep

def bitvol(html):
    soup = BeautifulSoup(html, "html.parser")
    b = soup.select("#lastvalueBitVol")
    print(b)


driver_path = 'chromedriverへの絶対パス'
driver = webdriver.Chrome(driver_path)

url = 'https://t3index.com/indices/bit-vol/'

driver.get(url)
sleep(5)
bitvol_html = driver.page_source.encode('utf-8')

bitvol(bitvol_html)

# 出力結果
# [<span id="lastvalueBitVol">59.14</span>]

以下、環境についてです。
Mac OS、PyCharmを使用。
Python 3.8.2
WebブラウザはGoogle Chromeを使用。
chromedriverは下記サイトからDL。
ChromeDriver - WebDriver for Chrome
seleniumはpipでインストール。

pip install selenium

Comments

[K.Andou]

Linux
python3.6
でしたが取得できました！
丁寧なご回答ありがとうございます！