PythonでHTMLのtablesの特定の行をスクレイピングしたい

Question

前提

Pythonでサイトのスクレイピングをしようとしています。

「合計」の行を１つずつ取り出したく、以下コードを書きました。

該当のソースコード

driver.get(url)
        html2 = driver.page_source.encode('utf-8')
        soup2 = BeautifulSoup(html2,'lxml')
        data = soup2.find("th",text="合計").find_next("td").text
        data2 = soup2.find("td",text=data).find_next("td").text
        data3 = soup2.find("td",text=data2).find_next("td").text
        data4 = soup2.find("td",text=data3).find_next("td").text
        data5 = soup2.find("td",text=data4).find_next("td").text
        data6 = soup2.find("td",text=data5).find_next("td").text
        data7 = soup2.find("td",text=data6).find_next("td").text
        data8 = soup2.find("td",text=data7).find_next("td").text
        data9 = soup2.find("td",text=data8).find_next("td").text
        data10 = soup2.find("td",text=data9).find_next("td").text
        data11 = soup2.find("td",text=data10).find_next("td").text
        data12 = soup2.find("td",text=data11).find_next("td").text
        data13 = soup2.find("td",text=data12).find_next("td").text
        data14 = soup2.find("td",text=data13).find_next("td").text
        data15 = soup2.find("td",text=data14).find_next("td").text
        data16 = soup2.find("td",text=data15).find_next("td").text
        data17 = soup2.find("td",text=data16).find_next("td").text
        data18 = soup2.find("td",text=data17).find_next("td").text   
        print("総アクセス数　")
        print(data)
        print("パソコン　")
        print(data2)
        print("スマホ　")
        print(data3)
        print("携帯　")
        print(data4)
        print("マイガール数　")
        print(data5)
        print("口コミ数　")
        print(data6)
        print("キテネ送信数　")
        print(data7)
        print("オキニトーク　送信したユーザー数　")
        print(data8)
        print("オキニトーク　送信回数　")
        print(data9)
        print("写メ日記(画像・テキスト) 投稿数　")
        print(data10)
        print("写メ日記(画像・テキスト)　通常　")
        print(data11)
        print("写メ日記(画像・テキスト)　会員限定　")
        print(data12)
        print("写メ日記(画像・テキスト)　マイガール限定　")
        print(data13)
        print("写メ日記(画像・テキスト)　時間限定　")
        print(data14)
        print("写メ日記(動画)　通常")
        print(data15)
        print("写メ日記(動画)　会員限定　")
        print(data16)
        print("写メ日記(動画) マイガール限定　")
        print(data17)
        print("写メ日記(動画)　時間限定　")
        print(data18)

実行結果

5番目までは正確に取れる(ページによって取れなかったりする)のですが、
それ以降は全然違う数値が出てきます。

取り方が悪いのだと思いますが、初心者ゆえどうすればいいか分かりません。
ご教示いただけますでしょうか？

Answer 1

「テキスト部分が指定の物であるtdを探す」という方針でやっているために、複数のtdが該当して、希望じゃない方を使っているのでは無いでしょうか。

普通は、「テキストが"合計"であるthの親要素のtrを得て、そのtrの子要素のtdを全部取得」という方針でやります。

Comments

[k15uke]

ありがとうございます。

def getGirlsData():
driver.get(openurl)
html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html,'lxml')
month = soup.find('th').text
month = month.replace(" ","")
month = month.replace("\n","")
linklist = []
ShopName = "店舗名" #とりあえず仮で置いておく
for name in soup.find_all('th',class_='table_head fixed_row js-girlSearchData girl-data'):
title = name.text
title = title.replace("\n","")
f.write(month)
print(month)
print(" ")
f.write(",")
f.write(ShopName)
print(ShopName)
print(" ")
f.write(",")
f.write(title)
print(title)
print(" ")
f.write(",")
url = name.find('a')
url = url.get('href')
url = "https://newmanager.cityheaven.net"+url
linklist.append(url)
driver.get(url)
html2 = driver.page_source.encode('utf-8')
soup2 = BeautifulSoup(html2,'lxml')
table = soup2.find_all('table')[2]

columns = []

tbody = table.find('tbody')
trs = tbody.find_all('tr')
rows = [columns]

sums = str('合計')

girl_colums = []
count_girl_colums = 0

for tr in trs:
row = [td.text for td in tr.find_all(["th","td","tr"])]
if '合計' in row:
for i in range(int(len(row))):
count_girl_colums = i

if count_girl_colums == 18:
print('オキニトークが存在')
for j in range(18):
f.write(row[j+1])
f.write(",")
f.write("\n")
break

if count_girl_colums == 16:
print('オキニトークが存在しない')
for k in range(7):
f.write(row[k+1])
f.write(",")
f.write('-')
f.write(',')
f.write('-')
f.write(',')
for l in range(9):
f.write(row[l+8])
f.write(",")
f.write('\n')
break

f.write('\n')
f.write(",")
f.close()
driver.close()

自己解決ですがこんな感じで解決しました。
ありがとうございました。
もっと簡略化できると思いますが、自分ではこれが限界でした。。