テーブル内のテキストやリンクをスクレイピングしたい

Question

netokeibaのレースページの開催情報をデータ化しようと考えています。
beautifulsoupを用いて、table内のspanで囲まれた文字やリンクを取得しようと思ったのですが、noneが帰ってきてしまいます。
同じようなタグやクラスの指定はいくつかのサイトで成功しており、どこに問題があるのかわからず悩んでいます。これをうまく抽出するにはどうすれば良いのでしょうか。

import requests
import csv
import os
import pprint

from urllib.request import urlopen
from bs4 import BeautifulSoup

def main() -> None:


    #トップページを取得
    url = "https://race.netkeiba.com/top"
    html = urlopen(url)
    soup = BeautifulSoup(html,"lxml")

    print(soup.get("a"))
    table = soup.findAll("li",class_ ="RaceList_DataItem ")

    pprint.pprint(table)

if __name__ == '__main__':
    main()

Answer 1

ページのソースを表示して、欲しい情報のテキストが検索できないような場合はBeautifulSoupでは無理です。
Seleniumなどを使う必要があると思います。

import pprint
from selenium.webdriver import Chrome, ChromeOptions

def main() -> None:
    options = ChromeOptions()
    # options.headless = True

    driver = Chrome(options=options)

    # 待機時間を設定する
    driver.implicitly_wait(5)

    #トップページを取得
    driver.get('https://race.netkeiba.com/top')

    for item in driver.find_elements_by_css_selector('.RaceList_Data li.RaceList_DataItem'):
        pprint.pprint(item.text)

if __name__ == '__main__':
    main()

上記のようなコードで以下の出力を得ます。

'9R\nテレ玉杯\n芝2000m 13頭'
'10R\n青竜S\n15:00 ダ1600m 17頭'
'11R\nヴィクトリア\n15:40 芝1600m 19頭'
'12R\nBSイレブン\nダ1400m 20頭'
'9R\n白川特別\n芝2400m 10頭'
'10R\n渡月橋S\n14:50 芝1400m 16頭'
'11R\n栗東S\n15:30 ダ1400m 24頭'
'10R\n胎内川特別\n芝2000m 16頭'
'11R\n八海山S\n15:20 ダ1200m 41頭'
'12R\n中ノ岳特別\nダ1800m 37頭'
続行するには何かキーを押してください . . .

なお、Seleniumのセットアップについては、ご自分で調べてみてください。

Comments

[Keiichi623]

回答ありがとうございます。
Seleniumをセットアップしてテストしてみます。手が遅くてすみません。

Answer 2

1. 文字コードが違う
2. htmlを渡していない

なのでその2点を直してみる

html = urlopen(url)

↓

html = urlopen(url).read().decode('EUC-JP')

Comments

[Keiichi623]

回答ありがとうございます。
soupを生で出力するときちんとソースが出てくるので、デコードは問題なさそうでした。
しかしながら、問題を丁寧に切り分けるため明示的に表記してみましたが改善されませんでした。
もう少し悩んでみます。ありがとうございます。

[hentaiman]

指摘したのはデコードの一点のみではありません

[Keiichi623]

htmlを渡すというのは
soup = BeautifulSoup(html,"lxml")
ではないということでしょうか？