seleniumで複数要素を取得したい

Question

前提・実現したいこと

個人的趣味でプロ野球データの収集を行おうと思っているのですが、
要素の取得の部分で躓き上手くいきません。

複数要素をそれぞれfor文にて抽出を図ったのですが、
csvで出力すると球種、球速、結果が同じものになってしまいます。

球種、球速、結果の部分を正確に反映できるようにしたいです。

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

from selenium import webdriver
import chromedriver_binary
import time
import csv
import datetime

driver = webdriver.Chrome()
driver.get('https://baseball.yahoo.co.jp/npb/game/2020061903/score?index=0110100')

csv_date = datetime.datetime.today().strftime("%Y%m%d")
csv_file_name = "carp_data_" + csv_date + ".csv"
f = open(csv_file_name, "w", encoding="CP932", errors="ignore")

writer = csv.writer(f, lineterminator="\n")
csv_header = ["球数", "投手", "球種", "球速", "結果", "コース"]
writer.writerow(csv_header)

i = 0
item = 1
while True :
    i = i + 1
    time.sleep(5)
    for elem_ta in driver.find_elements_by_xpath('//*[@id="gm_rslt"]/tbody/tr'):
        print(elem_ta.text)
    for elem_tb in driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[3]/tbody/tr/td[3]'):
        print(elem_tb.text)
    for elem_tc in driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[3]/tbody/tr/td[4]'):
        print(elem_tc.text)
    for elem_te in driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[3]/tbody/tr/td[5]'):
        print(elem_te.text)
    for elem_td in driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[1]/tbody/tr/td/div/span'):
        pitch_position = elem_td.get_attribute('style')
        print(pitch_position)
        csvlist = [str(item), elem_ta.text, elem_tb.text, elem_tc.text, elem_te.text, elem_td.get_attribute("style")]
        writer.writerow(csvlist)
        item = item + 1
    next_link = driver.find_element_by_id('btn_next')
    driver.get(next_link.get_attribute('href'))
    if i > 1:
        break
driver.close()

試したこと

for文の変数をelem_tdにしてみましたが、うまくいかず…

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

forが5つ並んでいますが、4つのループが回り終わって、最後の項目を変数に保持している状態で、5つ目のループを回しているので、elem_td以外の項目は最後の項目になります。

for i in range(5):
   print(i)  #=> 0 1 2 3 4 を表示

#この時点で i は 4
for j in range(5):
   print(i)  #=> 4 4 4 4 4 を表示

#追記
元のコードのテイストを残して書き換え。
ループを一緒に回ります。

i = 0
item = 1
while True :
    i = i + 1
    time.sleep(5)
    elem_ta = driver.find_element_by_xpath('//*[@id="gm_rslt"]/tbody/tr')
    elems_tb = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[3]/tbody/tr/td[3]')
    elems_tc = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[3]/tbody/tr/td[4]')
    elems_te = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[3]/tbody/tr/td[5]')
    elems_td = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[1]/tbody/tr/td/div/span')
    for elem_tb, elem_tc, elem_te, elem_td in zip(elems_tb, elems_tc, elems_te, elems_td):
        print(elem_ta.text)
        pitch_position = elem_td.get_attribute('style')
        print(pitch_position)
        csvlist = [str(item), elem_ta.text, elem_tb.text, elem_tc.text, elem_te.text, elem_td.get_attribute("style")]
        writer.writerow(csvlist)
        item = item + 1
    next_link = driver.find_element_by_id('btn_next')
    driver.get(next_link.get_attribute('href'))
    if i > 1:
        break
driver.close()

Comments

[ycarp3340]

ご回答ありがとうございます。
変数を全てelem_tdにして試したのですが、「試したこと」のような状態になってしまいました。
具体的にどこをどのように変更すればよいのでしょうか？

[otn]

変数名の違いが原因だと思ってしまったのでしょうか。
forが終わっていることが原因です。
と言っても分からないですよね。追記してみます。

[ycarp3340]

勉強不足で申し訳ありません。
頂いたコードで試したら出来ました!
わざわざありがとうございました。
先にそれぞれを定義しておいて、zipで括ればよかったんですね。