seleniumでのスクレイピング

Question

前提・実現したいこと

pythonによるseleniumを用いたスクレイピングで画像の部分のURLを取得したいのですが
やたらと長い出力が帰ってきてしまいます。
どこが間違っているのか教えていただきたいです。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "c:/Users/81801/Desktop/python/スクレイピング/競馬情報取得2R1.py", line 15, in <module>
    search_bar = driver.find_element_by_xpath('//dd/ul/li/a')[1]
TypeError: 'WebElement' object is not subscriptable

該当のソースコード

#selenium 

#ライブラリ取得
from selenium import webdriver
from time import sleep
from selenium.webdriver.chrome.options import Options
 
#URL取得
options = Options()
options.add_argument('--headless')  
driver = webdriver.Chrome(r"C:\Users\81801\Desktop\python\chromedriver_win32\chromedriver",options=options)
driver.get('https://race.netkeiba.com/top/race_list.html?kaisai_date=20200802&kaisai_id=2020040204&current_group=1020200801#racelist_top_a')

#検索
search_bar = driver.find_element_by_xpath('//dd/ul/li/a')[1]
print(search_bar.get_attribute('href'))

Answer 1

URLが欲しいということはその後それぞれに遷移してレース結果を収集するということでしょうか。
だとしたらサイトをもう少しよく研究してみてください。
決まり切ったURLをわざわざ取得するよりはスマートなやり方が見つかるはずです。

---

例えば

https://race.netkeiba.com/race/result.html?race_id=202004030207は
新潟3回2日目7R

https://race.netkeiba.com/race/result.html?race_id=202010020204は
小倉2回2日目4R

もういくつか見ればはっきりしますが、年、場所、回、日目、Rになっています。

driver.get('https://race.netkeiba.com/top/race_list.html?kaisai_date=20200802&kaisai_id=2020040204&current_group=1020200801#racelist_top_a')
place_pair = {'新潟': '04', '小倉': '10', '札幌': '01'}
for data_title in driver.find_elements_by_class_name('RaceList_DataTitle'):
    basyo = place_pair.get(data_title.text.split(' ')[1]) # "04"
    kaisai = data_title.text.split('回')[0] # "2"
    day = data_title.text.split(' ')[2].split('日')[0] # "4"
    for r in ['01', '02', '03', '04', '05', '06', '07', '08', '09', '10', '11', '12']:
        driver.get('https://race.netkeiba.com/race/result.html?race_id=2020' + basyo + '0' + kaisai + '0' + day + r)
        # ここで各レースページ処理

この類のサイトは稀にGUIが更新されCSSセレクタ(もしくはxpath)が効かなくなる場合もありますが、
DBを変えることはまずないのでURLの形式が変わる可能性は非常に低いです。

ただ'0'と付け加えているだけなので10回や10日目以降に対応していなかったり、
12Rまでない日を考えていなかったりと色々落ち度があるプログラムですが、
できる限りxpathには頼らない方がいいと思います。

Answer 2

driver.find_element_by_xpathではなくdriver.find_elements_by_xpath'かと思います。

Comments

[syosinsya01]

ご提案いただいた方法を試させていただきましたが同様の出力が帰ってきました。
ご回答いただきありがとうございます。

[meg_]

本当ですか？
当方では問題なく動作しました。