文字列がセルで囲まれているデータを含む、htmlデータをpythonでデータフレームで抽出したい

Question

pythonスクレイピングでテーブルデータを抽出しています。outerHTMLで抽出していましたが、テーブル枠がセル結合されているデータを抜くと、改行の<br>タグが邪魔をしてしまい、lot番号がqtyの横にずれてしまいます。
outerHTMLをそのまま使うのではなく、pandasで一行ずつappendをして抽出していくにはどのようなコードが有用か教示いただけると幸いです。
また、
一行
セル結合含む行
一行
のような、セル結合のあとにまた一行なりの行が続く時のappendするif分岐なども教示いただきますと幸いです。

最終的にはCSV出力をします。

イメージ画像

```python

Table =driver.find_elements_by_id("ListTable")[0]
str_html = Table.get_attribute("outerHTML")
dfs = pd.read_html(str_html)
print((dfs)[0])

データテーブル結果、lotが横並びになってしまう
```python
[      type            title  ship  order  qty1               lot  qty2  AdjPrice
0  P001  Z01    2     0    2  568  573  1  1                  NaN]

<table width="100%" class="list" id="ListTable">
                            <tbody><tr><th>type</th><th>title</th><th>order</th><th>ship</th><th>qty</th><th>lot</th><th>qty</th><th>Adj Price</th></tr><tr><td><a target="_blank" href="******" tabindex="5">
                                    P001
                                    </a></td><td>Z01</td><td class="rightJustify">2</td><td class="rightJustify">0</td><td class="rightJustify">2</td><td>
                                        
                                            568<br>

                                        
                                            573<br></td><td class="rightJustify">
                                        
                                            1<br>
                                        
                                            1<br></td><td class="totalValues"></td></tr></tbody></table>

Comments

[ppaul]

中途半端に変換したものではなく、もともとのhtmlがあれば方法を考えられるかもしれません。

[yayaya22]

ページ全体のhtmlが必要ということでしょうか。

[ppaul]

できればページ全体が望ましいですが、それができないなら、勝手にタグを削除していないものでテーブルの部分をすべて含むものがあればなんとかなるかもしれません。

[yayaya22]

編集・追記しました。

Answer 1

ありがとうございました。
以下の方法で解決しました。

#半角をカンマにする
df['lot'] = df['lot'].str.replace('  ', ',')

#カンマをリストに変換
df['lot'] = df['lot'].str.split(',')

#explodeメソッドでリストを展開させる
df = df.explode('lot')

>>> print(df)
   type title  order  ship  qty1       lot  qty2  Adj Price
　  P001   Z01      2     0     2  　　568     1   NaN
　　P001   Z01      2     0     2　　　573     1   NaN

Answer 2

元々は1行の表ですね。

pandasのDataFrameで一行にしたいなら、requests.getを使ってhtmlに入れてpandasのread_htmlで読み込み、加工すると以下のようになります。

import requests
import pandas as pd
url = 'https://aaa.bbb/ttt.html'
r = requests.get(url)
html = r.text
df = pd.read_html(html)[0]
df.rename(columns={'qty': 'qty1', 'qty.1': 'qty2'}, inplace=True)
df['lot'] = df['lot'].str.replace('  ', '\n')
df['qty2'] = df['qty2'].str.replace('  ', '\n')

実行結果は以下のようになるはずです。

>>> print(df)
   type title  order  ship  qty1       lot  qty2  Adj Price
0  P001   Z01      2     0     2  568\n573  1\n1        NaN

これを二行にしたいというのであれば、以下を参考にしてやってください。

DataFrameの1行を複数行に分ける方法について教えてください。

Comments

[yayaya22]

ご回答ありがとうございました。
url = 'https://aaa.bbb/ttt.html'
urlは変化せず、読み込んだらjavascriptで変化するタイプのサイトです。
なので、read.htmlメソッドは使えませんでした。
<tr>に入っている要素を引き抜き、そのまま一行ずつ使えないでしょうか。
あるいは<br>が入っている行は、その行をコピーしてlot以外同じものをコピーさせるなど

[ppaul]

r = requests.get(url)
html = r.text

のかわりに、selenimuでhtml = driver.page_sourceとやれば良いのでは？
以下のURLを参考にしてください。

https://qiita.com/shinkoma/items/38ff5ca61fe8fc5d258d