空白をそのままにしてスクレイピングを進めたい

Question

前提・実現したいこと

Pythonのseleniumを用いてプロ野球の一球速報のスクレイピングを行おうとしているのですが、
塁状況をスクレイピングしようとすると無走者時は塁情報のテキストが空白になってしまうため、
エラーが出てしまいスクレイピングができません。

塁状況が空白時にはそのままスクレイピングを進め、
塁に人が埋まった場合にはその際の走者の選手名をスクレイピングできるようにしたいです。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "C:\Users\YM\PycharmProjects\samle\main.py", line 47, in <module>
    print(elem_1B.text)
AttributeError: 'list' object has no attribute 'text'

該当のソースコード

from selenium import webdriver
import chromedriver_binary
import time
import csv
import datetime
from selenium.common.exceptions import NoSuchElementException
import re

driver = webdriver.Chrome()
driver.get('https://baseball.yahoo.co.jp/npb/game/2020082103/score?index=0110100')
csv_date = datetime.datetime.today().strftime("%Y%m%d")
csv_file_name = "carp_data_" + csv_date + ".csv"
f = open(csv_file_name, "w", encoding="CP932", errors="ignore")

writer = csv.writer(f, lineterminator="\n")
csv_header = ["球数", "投手", "投", "打者", "打席", "球種", "球速", "結果", "コース", "一塁", "二塁", "三塁"]
writer.writerow(csv_header)

i = 0
item = 1
while True :
    i = i + 1
    time.sleep(5)
    try:
        elem_pitcher = driver.find_element_by_xpath('//*[@id="gm_rslt"]/tbody/tr/td[1]/a')
        elem_pitch = driver.find_element_by_xpath('//*[@id="gm_rslt"]/tbody/tr/td[2]')
        elem_batter = driver.find_element_by_xpath('//*[@id="gm_rslt"]/tbody/tr/td[3]/a')
        elem_bat = driver.find_element_by_xpath('//*[@id="gm_rslt"]/tbody/tr/td[4]')
        elem_1B = driver.find_elements_by_xpath('//*[@id="base1"]/span')
        elem_2B = driver.find_elements_by_xpath('//*[@id="base2"]/span')
        elem_3B = driver.find_elements_by_xpath('//*[@id="base3"]/span')
    except NoSuchElementException:
        pass
    except AttributeError:
        pass
    elems_tb = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[3]/tbody/tr/td[3]')
    elems_tc = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[3]/tbody/tr/td[4]')
    elems_te = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[3]/tbody/tr/td[5]')
    elems_td = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[1]/tbody/tr/td/div/span')
    for elem_tb, elem_tc, elem_te, elem_td in zip(elems_tb, elems_tc, elems_te, elems_td):
        print(elem_pitcher.text)
        print(elem_pitch.text)
        print(elem_batter.text)
        print(elem_bat.text)
        pitch_position = elem_td.get_attribute('style')
        print(pitch_position)
        print(elem_1B.text)
        print(elem_2B.text)
        print(elem_3B.text)
        csvlist = [str(item), elem_pitcher.text, elem_pitch.text, elem_batter.text, elem_bat.text, elem_tb.text, elem_tc.text, elem_te.text, elem_1B.text, elem_2B.text, elem_3B.text]
        writer.writerow(csvlist)
        item = item + 1
    next_link = driver.find_element_by_id('btn_next')
    driver.get(next_link.get_attribute('href'))
driver.close()

Answer 1

tryを使ってください。

        print(pitch_position)
        try:
            print(elem_1B.text)
        except AttributeError:
            pass
        try:
            print(elem_2B.text)
        except AttributeError:
            pass
        try:
            print(elem_3B.text)
        except AttributeError:
            pass
        csvlist = [str(item), elem_pitcher.text, elem_pitch.text, elem_batter.text, elem_bat.text, elem_tb.text, elem_tc.text, elem_te.text, elem_1B.text, elem_2B.text, elem_3B.text]

とかに変えてみてください。

上記には誤りがありました。

.textを取る部分を関数にしたので、全コードを載せます。
また、書込み先のファイルを閉じていなかったので閉じておきました。

from selenium import webdriver
import chromedriver_binary
import time
import csv
import datetime
from selenium.common.exceptions import NoSuchElementException
import re

def to_text(elem):
    try:
        return elem.text
    except AttributeError:
        return ""

driver = webdriver.Chrome()
driver.get('https://baseball.yahoo.co.jp/npb/game/2020082103/score?index=0110100')
csv_date = datetime.datetime.today().strftime("%Y%m%d")
csv_file_name = "carp_data_" + csv_date + ".csv"
f = open(csv_file_name, "w", encoding="CP932", errors="ignore")

writer = csv.writer(f, lineterminator="\n")
csv_header = ["球数", "投手", "投", "打者", "打席", "球種", "球速", "結果", "コース", "一塁", "二塁", "三塁"]
writer.writerow(csv_header)

i = 0
item = 1
while True :
    i = i + 1
    time.sleep(5)
    try:
        elem_pitcher = driver.find_element_by_xpath('//*[@id="gm_rslt"]/tbody/tr/td[1]/a')
        elem_pitch = driver.find_element_by_xpath('//*[@id="gm_rslt"]/tbody/tr/td[2]')
        elem_batter = driver.find_element_by_xpath('//*[@id="gm_rslt"]/tbody/tr/td[3]/a')
        elem_bat = driver.find_element_by_xpath('//*[@id="gm_rslt"]/tbody/tr/td[4]')
        elem_1B = driver.find_elements_by_xpath('//*[@id="base1"]/span')
        elem_2B = driver.find_elements_by_xpath('//*[@id="base2"]/span')
        elem_3B = driver.find_elements_by_xpath('//*[@id="base3"]/span')
    except NoSuchElementException:
        pass
    except AttributeError:
        pass
    elems_tb = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[3]/tbody/tr/td[3]')
    elems_tc = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[3]/tbody/tr/td[4]')
    elems_te = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[3]/tbody/tr/td[5]')
    elems_td = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[1]/tbody/tr/td/div/span')
    for elem_tb, elem_tc, elem_te, elem_td in zip(elems_tb, elems_tc, elems_te, elems_td):
        print(elem_pitcher.text)
        print(elem_pitch.text)
        print(elem_batter.text)
        print(elem_bat.text)
        pitch_position = elem_td.get_attribute('style')
        print(pitch_position)
        text_elem_1B = to_text(elem_1B)
        text_elem_2B = to_text(elem_2B)
        text_elem_3B = to_text(elem_3B)
        print(text_elem_1B)
        print(text_elem_2B)
        print(text_elem_3B)
        csvlist = [str(item), elem_pitcher.text, elem_pitch.text, elem_batter.text, elem_bat.text, elem_tb.text, elem_tc.text, elem_te.text, text_elem_1B, text_elem_2B, text_elem_3B]
        writer.writerow(csvlist)
        item = item + 1
    next_link = driver.find_element_by_id('btn_next')
    driver.get(next_link.get_attribute('href'))
driver.close()
f.close()

情報を取るためにto_textを以下に変更して、出力のその部分を教えてください。

def to_text(elem):
    if type(elem) == list:
        print(f'from to_text:')
        for i,e in enumerate(elem):
            print(f'elem[{i}] = {i}')
            print(f'dir is:\n', dir(e))
        exit()
    try:
        return elem.text
    except AttributeError:
        return ""

リストの場合は、そのそれぞれがtextを持っているようです。
以下に変更して、何が表示されるか見てみてください。

def to_text(elem):
    if type(elem) == list:
        try:
            return ' : '.join([x.text for x in elem])
        except AttributeError:
            return 'need more check'
    try:
        return elem.text
    except AttributeError:
        return ""

Comments

[ycarp3340]

ご回答いただきありがとうございます。
いただいたコードで試したのですが、今度は
Traceback (most recent call last):
File "C:\Users\YM\PycharmProjects\samle\main.py", line 59, in <module>
csvlist = [str(item), elem_pitcher.text, elem_pitch.text, elem_batter.text, elem_bat.text, elem_tb.text, elem_tc.text, elem_te.text, elem_1B.text, elem_2B.text, elem_3B.text]
AttributeError: 'list' object has no attribute 'text'
とのエラーが発生してしまいました。
csvlistにテキストで渡す際に空白となっているため、エラーが発生しているようです。

[ppaul]

elem_pitcherからelem_3Bまでの中にリストはありますか？
それを調べて見てください。

それとは別に、csvlist = の行の中でもelem_1B.textとか使っているいるのですね。それだと先ほどの変更では対応出来ていませんでした。
走者がいない累のcsvでの値は、空文字列でいいですか。

[ycarp3340]

リストはないと思います。

＞走者がいない累のcsvでの値は、空文字列でいいですか。
そちらで問題ございません。

[ycarp3340]

実行してみましたが、
Traceback (most recent call last):
File "C:\Users\YM\PycharmProjects\samle\sample.py", line 53, in <module>
text_elem_1B = to_text(elem_1B.text)
AttributeError: 'list' object has no attribute 'text'
とテキストに変換？するところでエラーが発生してしまいました。。。

[ppaul]

動作環境がないので凡ミスを見逃していました。
修正したので、もう一度やってみてください。

[ycarp3340]

ありがとうございます。
エラーなく進みはしたのですが、肝心の塁状況がcsvに出力されず、全て空の状態になってしまいました。

[ppaul]

私はseleniumは使ったことがないのですが、調べて見ると、elem_1Bとかは複数検索をしているようですね。その結果リストが返ってきています。
そのリストの中から何を取り出したいのかは元のHTML次第なので、情報がないとわかりません。
情報を取るために、関数to_textを変更して動かしてみてください。

[ycarp3340]

なるほど。
リストで返ってきているために空白になってしまうんですね。

出力はこんな感じになりました。
森下 暢仁
右
坂本 勇人
右
top: 11px; left: 128px;
from to_text:

[ppaul]

最後に入れたexitのインデントが間違っていました。修正したのでもう一度流して下さい。

[ycarp3340]

出力は変わらず以下の通りです。
森下 暢仁
右
坂本 勇人
右
top: 11px; left: 128px;
from to_text:

[ppaul]

では、大量の出力になるかもしれませんが、exit()を消すかコメントにして流してみてください。

[ycarp3340]

出力したものについて、非常に量が多いのですが、全てお見せした方がよろしいでしょうか？
それとも走者なしと走者ありの場合に分けてお見せした方がよろしいでしょうか？

[ppaul]

print(f'elem[{i}] = {i}')
print(f'dir is:\n', dir(e))
の出力の一組で良いです。

[ycarp3340]

出力は以下のようになりました。
elem[0] = 0
dir is:
['__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__le__', '__lt__', '__module__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', '_execute', '_id', '_parent', '_upload', '_w3c', 'clear', 'click', 'find_element', 'find_element_by_class_name', 'find_element_by_css_selector', 'find_element_by_id', 'find_element_by_link_text', 'find_element_by_name', 'find_element_by_partial_link_text', 'find_element_by_tag_name', 'find_element_by_xpath', 'find_elements', 'find_elements_by_class_name', 'find_elements_by_css_selector', 'find_elements_by_id', 'find_elements_by_link_text', 'find_elements_by_name', 'find_elements_by_partial_link_text', 'find_elements_by_tag_name', 'find_elements_by_xpath', 'get_attribute', 'get_property', 'id', 'is_displayed', 'is_enabled', 'is_selected', 'location', 'location_once_scrolled_into_view', 'parent', 'rect', 'screenshot', 'screenshot_as_base64', 'screenshot_as_png', 'send_keys', 'size', 'submit', 'tag_name', 'text', 'value_of_css_property']

[ppaul]

リストの場合は、そのそれぞれがtextを持っているようです。
回答の最後を反映して実行し、何が表示されるか見てみてください。

[ycarp3340]

CSVに走者反映されていました。
ありがとうございました!