🎄teratailクリスマスプレゼントキャンペーン2024🎄』開催中!

\teratail特別グッズやAmazonギフトカード最大2,000円分が当たる!/

詳細はこちら
スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

Q&A

解決済

2回答

992閲覧

ストライクボールのカウントを正しくCSVに反映させたい

ycarp3340

総合スコア4

スクレイピング

スクレイピングとは、公開されているWebサイトからページ内の情報を抽出する技術です。

CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

0グッド

0クリップ

投稿2021/03/04 14:22

前提・実現したいこと

PythonのSeleniumを用いて野球データのスクレイピングを行っています。
その中でストライクボールカウントを出力するCSVに反映したいのですが、
「見逃し」「空振り」「ファウル」「ボール」以外の打席結果の投球部分で、
カウントがうまいこと反映することができません。
イメージ説明
上記画像のように打席結果のところのカウント表記が、
その前のResultを反映しておらずその投球時点でのものではないため、
ここを正しく反映できるようにしたいです。

該当のソースコード

from selenium import webdriver import chromedriver_binary import time import csv import datetime from selenium.common.exceptions import NoSuchElementException import re def to_text(elem): if type(elem) == list: try: return ' : '.join([x.text for x in elem]) except AttributeError: return 'need more check' try: return elem.text except AttributeError: return "" driver = webdriver.Chrome() driver.get('https://baseball.yahoo.co.jp/npb/game/2021000018/score?index=0110100') csv_date = datetime.datetime.today().strftime("%Y%m%d") csv_file_name = "baseball_data_" + csv_date + ".csv" f = open(csv_file_name, "w", encoding="CP932", errors="ignore") writer = csv.writer(f, lineterminator="\n") csv_header = ["Date", "TotalPitch", "PitcherPitch", "ABPitch", "inning", "TB", "Pitcher", "Pitch", "Batter", "Bat", "Balltype", "Speed", "Result", "S", "B", "Supplement", "y", "x", "1B", "2B", "3B"] writer.writerow(csv_header) i = 0 item = 1 ballCount = 0 strikeCount = 0 while True : i = i + 1 time.sleep(5) try: elem_pitcher = driver.find_element_by_xpath('//*[@id="gm_rslt"]/tbody/tr/td[1]/a') elem_pitch = driver.find_element_by_xpath('//*[@id="gm_rslt"]/tbody/tr/td[2]') elem_batter = driver.find_element_by_xpath('//*[@id="gm_rslt"]/tbody/tr/td[3]/a') elem_bat = driver.find_element_by_xpath('//*[@id="gm_rslt"]/tbody/tr/td[4]') elem_1B = driver.find_elements_by_xpath('//*[@id="base1"]/span') elem_2B = driver.find_elements_by_xpath('//*[@id="base2"]/span') elem_3B = driver.find_elements_by_xpath('//*[@id="base3"]/span') except NoSuchElementException: pass except AttributeError: pass elems_ta = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[3]/tbody/tr/td[2]') elems_tf = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[3]/tbody/tr/td[1]/span') elems_tb = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[3]/tbody/tr/td[3]') elems_tc = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[3]/tbody/tr/td[4]') elems_te = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[3]/tbody/tr/td[5]') elems_td = driver.find_elements_by_xpath('//*[@id="pitchesDetail"]/section[2]/table[1]/tbody/tr/td/div/span') for elem_ta, elem_tf, elem_tb, elem_tc, elem_te, elem_td in zip(elems_ta, elems_tf, elems_tb, elems_tc, elems_te, elems_td): cur_url = driver.current_url inning = cur_url[-6] tb = cur_url[-5] print(inning) print(tb) print(elem_pitcher.text) print(elem_pitch.text) print(elem_batter.text) print(elem_bat.text) print(elem_ta.text) PitchCount = elem_tf.text.split() print(PitchCount[0]) prot = elem_td.get_attribute('style') result = re.findall(r"\d+", prot) print(result[0]) print(result[1]) speed = re.sub("\D", "", elem_tc.text) print(speed) result_list = elem_te.text.split() print(result_list[0]) if PitchCount[0] == "1": ballCount = 0 strikeCount = 0 elif result_list[0] == "見逃し": strikeCount = strikeCount + 1 elif result_list[0] == "空振り": strikeCount = strikeCount + 1 elif result_list[0] == "ファウル": if strikeCount is not 2: strikeCount = strikeCount + 1 elif result_list[0] == "ボール": ballCount = ballCount + 1 print(strikeCount) print(ballCount) supple = re.sub("[|]", "", elem_te.text) s = supple.splitlines() del s[0] Strs = "".join(s) print(Strs) text_elem_1B = to_text(elem_1B) text_elem_2B = to_text(elem_2B) text_elem_3B = to_text(elem_3B) print(text_elem_1B) print(text_elem_2B) print(text_elem_3B) csvlist = [csv_date, str(item), elem_ta.text, PitchCount[0], inning, tb, elem_pitcher.text, elem_pitch.text, elem_batter.text, elem_bat.text, elem_tb.text, speed, result_list[0], strikeCount, ballCount, Strs, result[0], result[1], text_elem_1B, text_elem_2B, text_elem_3B] writer.writerow(csvlist) item = item + 1 next_link = driver.find_element_by_id('btn_next') driver.get(next_link.get_attribute('href')) driver.close() f.close()

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

ベストアンサー

上記の回答とコメントから見ると、Resultとカウント部分のタイミングが悪いように思いました。
やり方はいくつかありそうですが、例として、以下のような感じ

python

1 2if PitchCount[0] == "1": 3 ballCount = 0 4 strikeCount = 0 5 6# ここで出力処理 7 8if result_list[0] == "見逃し": 9 10ループ脱出後 11# 最後のデータを出力

という流れにすれば良いのではないでしょうか。

投稿2021/03/04 16:11

t_obara

総合スコア5488

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

ycarp3340

2021/03/04 16:39

ご回答ありがとうございます。 上記のようにするとprint出力は正しくなったのですが、csvへの書き込みには反映されず… csvへの反映はどのようにすれば正しくなるのでしょうか?
t_obara

2021/03/04 16:45

printのところでCSVに出力すれば良いのでは?
ycarp3340

2021/03/04 16:59

うまいこといきました! ありがとうございました!
guest

0

見ると、最初の「見逃し」でストライクが1にならないのがおかしいですよね。
1投目がカウントリセットの処理に絶対入ってしまうからでは?

if PitchCount[0] == "1": ballCount = 0 strikeCount = 0 if result_list[0] == "見逃し":

かな?

投稿2021/03/04 15:01

FromMZ1500

総合スコア496

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

ycarp3340

2021/03/04 15:21

ご回答ありがとうございます。 最初の投球がされる時点でのカウントは0ストライク0ボールなので、これはこれで私の想定通りの挙動です。 ご指摘部分のコードを消せば打席結果部分のカウントは正しくなるのですが、逆に最初の投球時のカウントが0ストライク0ボールにならないというジレンマを何とか解決したいという次第です…
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.36%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問