Python Web上のテーブルからtdの値を取得したい

Question

前提

Pythonの初心者で勉強中であるため質問の仕方がおかしかったら申し訳ございません。
本を見ながら試してみたのですが、エラーが出てこれ以上進めることができない状態です。

実現したいこと

Web上にある次のようなテーブルから「年月」「売上」「客数」を取得し、最終的にCSVにしたいと考えています。

年月	売上	単価	客数
2022年1月	520,000	5,200	100
2022年2月	600,000	5,000	120
2022年3月	663,000	5,100	130
2022年4月	504,000	6,300	80
2022年5月	638,000	5,800	110

<thead>
	<tr>
		<th class="syukei">年月</th>
		<th class="syukei">売上</th>
		<th class="syukei">客数</th>
	</tr>
</thead>
<tbody>
	<tr>
		<th class="year">2022年1月</th>
			<td>520,000</td>
			<td>5,200</td>
			<td>100</td>
	</tr>
	<tr>
		<th class="year">2022年2月</th>
			<td>600,000円</td>
			<td>5,000</td>
			<td>9,350</td>
			<td>120</td>
	</tr> 
</tbody>

完成イメージ

分からないこと

①"年月"の列が<th>で、取得の仕方が分かりません。
②とりあえず<td>の値だけ取得しようとしたら下部に記載のエラーが出ます。

試したこと

#空リストの作成
vals1 = []#売上
vals2 = []#客数

#テーブルのボディ部分を選択する
table = driver.find_element_by_tag_name('tbody')
#ボディ部分からtrタグをすべて取得
elems = table.find_elements_by_tag_name('tr')

#trタグの数だけループしtdの値を取得
for elem in elems:
    val1 = elem.find_elements_by_tag_name('td')[0].text
    val2 = elem.find_elements_by_tag_name('td')[2].text

#取得した値をvalsリストに順番に追加
    vals1.append(vals1)
    vals2.append(vals2)

#CSV作成
import pandas as pd
df=pd.DataFrame({'売上':vals1,'客数':vals1})
df.to_csv("集計.csv",encoding="shift_jis")

発生している問題・エラーメッセージ

IndexError: list index out of range

インデックスが範囲外とのことですが、('td')[0]を[1]や[2]に変えたところでは変わらないです。

該当のソースコード

val1 = elem.find_elements_by_tag_name('td')[0].text

補足（取得したい情報）

これが実際に取得したい対象のテーブルになります。
テーブルの左端から「年月」～「再来」の数字を1年分取得したいと思っています。

Comments

[T_F]

[0]でout of rangeなので、"td"の要素が1つもないようです。
本当にtdタグが入ったhtmlが取れているかどうか、確かめたほうが良いでしょう。
提示してもらったコードの一番上のタイミングで
print(driver.page_source)
を実行してhtmlを表示するとどうなりますか？

[human4423]

コメントありがとうございます！
一番上にprint(driver.page_source)を入れて実行すると膨大な量のソースが出てきました。
細かく見ていったところ、取得したいtable、tdもありましたが、他にも色んなtableが存在していました。

もしかして、何のtableから取得したいのかが明確になっていないということでしょうか？
※この時間しか勉強ができず、せっかくコメントいただいたのに遅くなり申し訳ございません。

[human4423]

質問欄の最後に補足として実際のテーブルとそのソースの画像を載せました。

[T_F]

はい、tableを絞り込む必要がありそうです。

Answer 1

テーブルを選択する部分で、classを使って絞り込む必要があります。
月次売上表が年ごとに分かれているなど、同じクラス名のテーブルが複数ある場合は、上から何番目かも指定する必要があります。

元のコードで

#テーブルのボディ部分を選択する
table = driver.find_element_by_tag_name('tbody')

のところを

#テーブルのボディ部分を選択する
monthly_table_number = 0  # いくつかある月次売上表のうち該当のものの番号（0始まり順）
tables = driver.find_elements_by_class_name("monthlySalesTable")
table = tables[monthly_table_number].find_element_by_tag_name("tbody")

としてください。
該当の表が月次売上表の中で何番目かを数えて、monthly_table_numberを変更してください。

また、別に1箇所バグがあります。

#取得した値をvalsリストに順番に追加
    vals1.append(vals1)
    vals2.append(vals2)

で、appendする右側のvals1, vals2が、本当はval1, val2が正しいです。

これで動くかどうか試してみてください。

Comments

[human4423]

できましたできました！！
全てご指摘の通りでありました！
ありがとうございます！大変助かりました！！

Answer 2

CSV の作成に Pandas を使われていますが、それでしたら Pandas の read_html() で HTML テーブルを読み込んでみてもよいかもしれません。

import pandas as pd
import sys

url = 'https://teratail.com/questions/6su8tx7uey56y2'
dfs = pd.read_html(url) # table 要素に id や class が付与されている場合はそれを利用する

cols = ['年月', '売上', '単価', '客数']
scols = {*cols}
dfs = [df for df in dfs if scols == {*df.columns}]
if not dfs:
    print('table not found', file=sys.stderr)
    sys.exit(1)

df = dfs[0][[c for c in cols if c != '単価']]
df.to_csv("集計.csv",encoding="shift_jis",index=False)

集計.csv

年月,売上,客数
2022年1月,520000,100
2022年2月,600000,120
2022年3月,663000,130
2022年4月,504000,80
2022年5月,638000,110

Comments

[human4423]

ご回答いただきありがとうございます！
確かに、書いていただいたコードをそのまま試したらこのページに私がサンプルで書いたテーブルの値がCSVとして作成されました！
ただ、実際に取得したいwebページ（業務で使っている管理システム）だとダメみたいです。
エラーも出ないので何が原因かもわからないのですが…
今、追加情報として質問の中に実際のテーブルの画像とそのソースを載せてみましたが、<th>が結合されてることとか関係ありますか？

[melian]

一応、class を指定すると読み込む様です。

dfs = pd.read_html(url, attrs={'class': 'monthlySalesTable'})
print(dfs[0])

ただ、カラム名がマルチインデックスになってしまいますが、、、