selelniumでtable内の要素を取得するときに空白がある場合の対処方法

Question

前提・実現したいこと

pythonのライブラリであるseleniumを使って、Webサイトに表示されているtableをデータフレームに格納しようとしています。

発生している問題・エラーメッセージ

tdタグの内容を順番に取得していく際に、<td></td>のように空白がある場合、内容が取得できずにカラムがずれてしまいます。

該当のソースコード

取得元のHTMLはこちらです。

<table id="table1">
  <tr>
    <th>Name</th>
    <th>Place</th>
    <th>Age</th>
  </tr>
  <tr>
    <td>Yamada</td>
    <td>Tokyo</td>
    <td>50</td>
  </tr>
  <tr>
    <td>Kato</td>
    <td></td>
    <td>30</td>
  </tr>
  <tr>
    <td>Tanaka</td>
    <td>Kyoto</td>
    <td>32</td>
  </tr>
</table>

データを取得するpythonはこちらです。

from selenium import webdriver
from selenium.webdriver.common.by import By
import re
import chromedriver_binary
from time import sleep
import pandas as pd

browser = webdriver.Chrome()
browser.get('取得したいURL')
sleep(2)

tableElem = browser.find_element_by_id('table1')
trs = tableElem.find_elements(By.TAG_NAME, "tr")
data = []
for i in range(0, len(trs)):
    record = trs[i].text.split(' ')
    data.append(record)
    
df = pd.DataFrame(data)

上記PGMの結果

上記の行Katoのおいて、Placeが空白であるたために列1にAgeの値である30が入り、列2はNoneになってしまいます。

これを、行Kato・列1は空白、行Kato・列2に30 と入れたいのですがうまくいきません。

get_attribute("textContent")を試してみましたが結果は同じでした。

補足情報（FW/ツールのバージョンなど）

Chrome : 89.0.4389.114
chromedriver_binary : 89.0.4389.23
Python : 3.8x

Answer 1

trからテキストを取り出してしまったら駄目ですね。tdから取らないと。

    record = [x.text for x in trs[i].find_elements(By.TAG_NAME, "td")]

また、普通は、forの部分は、

for tr in trs:
    record = [x.text for x in tr.find_elements(By.TAG_NAME, "td")]
    data.append(record)

でしょうか。二重の内包表記で書く人もいるでしょう。

Comments

[ak_suzuki]

otnさん
ありがとうございます！解決しました。