htmlデータをpythonでスクレイプ→データフレームで抽出し、数字を乗算しコピーして行を増やしたい

Question

pythonスクレイピングでテーブルデータを抽出しています。
「lot番号」が「５」の時に「同じ行を５回コピーして元あった行を消す」
ような処理をしたいと思います。
for文でいけそうなのですが、なかなか思いつかずの状態です。
よろしければ教示願います。

※10/19パターン２追記あり

パターン１（こちらは解決しました）
|P001|Z001|568|５
|:--|:--:|--:|

   ↓

|P001|Z001|568|1
|:--|:--:|--:|
|P001|Z001|568|1
|P001|Z001|568|1
|P001|Z001|568|1
|P001|Z001|568|1

パターン２
shipが総合数になっていて、lotとqtyがテーブル内で同じ枠（セル？）にある時、方法を考え
explodeメソッドでリストを展開させていたのですが、

#explodeメソッドでリストを展開させる
df = df.explode('lot')

|type|title|ship|lot|qty
|:--|:--:|:--:|--:|
|P001|Z001|6|568,555|５,1

   ↓

|type|title|ship|lot|qty
|:--|:--:|:--:|--:|
|P001|Z001|6|568|５,1|:--|:--:|:--:|--:|
|P001|Z001|6|555|５,1

これだとlotは分かれますが、qtyが複製されどれを乗算指示すればいいのかが
分かりません。shipを元に判定してもいいですし、
568 を×５
555を×１にしたいです。
このとき、type title shipは複製されてかまいません。

【理想形です】
|type|title|ship|lot|qty
|:--|:--:|:--:|--:|
|P001|Z001|6|568|1|:--|:--:|:--:|--:|
|P001|Z001|6|568|1|:--|:--:|:--:|--:|
|P001|Z001|6|568|1|:--|:--:|:--:|--:|
|P001|Z001|6|568|1|:--|:--:|:--:|--:|
|P001|Z001|6|568|1|:--|:--:|:--:|--:|
|P001|Z001|6|555|1

教示お願い致します。

追記:10/20
パターン２で出力ができませんでした。

#半角をカンマにする
df['lot'] = df['lot'].str.replace('  ', ',')

#カンマをリストに変換
df['lot'] = df['lot'].str.split(',')
df['lot'] = df['lot'].str.split(',')

df['qty2'] = df['qty2'].astype(str).str.replace('  ', ',')
df['qty2'] = df['qty2'].str.split(',')
df['qty2'] = df['qty2'].astype(str).str.replace("'", '')
df = df.explode(['lot','qty2'])
print(df)
出力結果

    type       title  order  ship  qty1        lot   qty2  adj Price
0   P001       Z001    1     0    1           [811]    [1]    NaN
1   P002       Z002    1     0    1           [768]    [1]    NaN
2   P003       Z003    1     0    1           [063]    [1]    NaN
3   P004       Z004    6     0    6           [193]    [6]    NaN
4   P005       Z005    4     0    4           [210]    [4]    NaN
5   P006   　　Z006    2     0    2           [385]    [2]    NaN
6   P007       Z007    2     0    2           [277]    [2]    NaN
7   P008       Z008    2     0    2           [211]    [2]    NaN
8   P009       Z009    2     0    2           [295]    [2]    NaN
9   P010       Z010    2     0    2           [576]    [2]    NaN
10  P011       Z011    2     0    2           [675]    [2]    NaN
11  P012       Z012    6     0    6      [796, 310]  [5,1]    NaN


  File "C:\Users****\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas\core\frame.py", line 8254, in explode
    raise ValueError("columns must have matching element counts")
ValueError: columns must have matching element counts

エラーになります。
explodeのリストが効いていないようです。

最初に頂いたご回答を機能させるためにはどうすればよろしいでしょうか。
ちなみに
df.explode('lot')
は分かれてくれますが、
df.explode('qty2')
の場合、変化がありません。

<table width="100%" class="list" id="ListTable">
                            <tbody><tr><th>type</th><th>title</th><th>order</th><th>ship</th><th>qty</th><th>lot</th><th>qty</th><th>Adj Price</th></tr><tr><td><a target="_blank" href="******" tabindex="5">
                                    P001
                                    </a></td><td>Z01</td><td class="rightJustify">2</td><td class="rightJustify">0</td><td class="rightJustify">2</td><td>

                                            568<br>


                                            573<br></td><td class="rightJustify">

                                            5<br>

                                            5<br></td><td class="totalValues"></td></tr></tbody></table>

#テーブルを取得
Table =driver.find_elements_by_id("ListTable")[0]
str_html = Table.get_attribute("outerHTML")
dfs = pd.read_html(str_html)
print((dfs)[0])

#半角をカンマにする
df['lot'] = df['lot'].str.replace('  ', ',')

#カンマをリストに変換
df['lot'] = df['lot'].str.split(',')

#explodeメソッドでリストを展開させる
df = df.explode('lot')

#この後の処理が不明。。

Answer 1

新しいバージョンだとpandas.DataFrame.explodeでできます。

New in version 1.3.0: Multi-column explode

import pandas as pd

df = pd.DataFrame({'type':['P001'], 'title':['Z001'], 'ship':[6], 'lot':[[568,555]], 'qty':[[5,1]]})
df = df.explode(['lot','qty'])
print(df)
#   type title  ship  lot qty
#0  P001  Z001     6  568   5
#0  P001  Z001     6  555   1

Comments

[yayaya22]

教示ありがとうございました。
新しい、pandasにアップデートした後に、こちら試しましたが、機能がなされませんでした。
追記いたしましたので、見ていただくと幸いです。

[8524ba23]

まず回答コードはエラーなく動作するでしょうか？
動作する場合、私の回答のようにデータも含めたエラーが再現できるコードを提示すると
検証できるかもしれません。

[yayaya22]

回答コードはエラーなく動作いたしました。
ありがとうございました。
私の方のHTMLから抽出したコードはうまくいきませんでした。
なぜか、qty2列のほうが、引っかかっているようです。

[yayaya22]

できました。
df['qty2'] = df['qty2'].astype(str).str.replace("'", '')
CSVで確認したらこの行で"5","1"となっていなかったため、explodeが効かなかったようです。

Answer 2

こういう感じです。

>>> print(df)
   type title  order  ship  qty  lot  qty.1  Adj  Price
0  P001   Z01      2     0    2    3      2    5      5
1  P002   Z02      2     0    2    1      1    3      4
2  P003   Z03      2     0    2    2      1    6      2
>>> df2 = pd.concat(sum([[row]*row['lot'] for i, row in df.iterrows()], []), axis=1).T.reset_index(drop=True)
>>> df2['lot'] = 1
>>> print(df2)
   type title order ship qty  lot qty.1 Adj Price
0  P001   Z01     2    0   2    1     2   5     5
1  P001   Z01     2    0   2    1     2   5     5
2  P001   Z01     2    0   2    1     2   5     5
3  P002   Z02     2    0   2    1     1   3     4
4  P003   Z03     2    0   2    1     1   6     2
5  P003   Z03     2    0   2    1     1   6     2

Comments

[yayaya22]

素早いご回答に的確なご指示ありがとうございました。こちら大変参考になりました。
しかしパターン２の問題が登場し、、追記をいたしました。こちらも教示いただきますと幸いです。

[yayaya22]

ありがとうございました。
無事にできました。