Pandasのiterrowsを使うと遅いのをどうにかして改善したいです

Question

前提・実現したいこと

※カラム名とデータの内容はぼかしています。

既存のデータフレーム構成が次のようになっています。Col_1はint型、Col_2はstr型ですがNaNも含みます。左端の数字はindexになります。

     Col_1  Col_2  
0      1    a,b,c      
1      2    a,d      
2      3    NaN
3      4    e

このCol_2の文字列がカンマ区切りになっているので、分解して次のようなデータフレームにしたいです。NaNのものは省きます。

     Col_1  Col_2  
0      1    a
1      1    b
2      1    c      
3      2    a     
4      2    d
5      4    e

前者のデータフレームをdf_A, 後者をdf_Bとしてソースを記載します。

この処理をiterrowsのメソッドで書いているのですが、df_Aの方が20万行程度あり、実行に非常に時間がかかっていて困っています。高速化する方法はないでしょうか？高速化に関して何かアイデアがありましたら、ご教授ください。

該当のソースコード

現在使っているソースコードです。

import pandas as pd
# 得たいデータフレーム
df_B = pd.DataFrame(index=[], columns=['Col_1', 'Col_2'])

# 元のデータのデータフレーム df_Aをループしてdf_Bを作っていく
for index, row in df_A.iterrows():
    if row['Col_1'] is not np.nan:
        for c1 in row['Col_1'].split(','):
            record = pd.Series([row['Col_1'], c1], index=['Col_1', 'Col_2'])
            df_B = df_B.append(record, ignore_index=True)

補足情報

Google検索もして調べてみたのですが、既存のデータフレームから新しくデータフレームを作るような方法での高速化がなかなか見当たりませんでした。自分の検索の仕方が悪いのかもしれませんが解決できなかったのでお知恵をお貸しください。

Pandasは最新のものを使用しています。

Answer 1

文字列操作を高速化するなら、pandasの関数・メソッドではなく、配列を通常のPython標準リストに変換してfor文で繰り返し処理をすることをおすすめします。

例えば、

df_temp = df_A.dropna()
col2 = df_temp['Col_2'].tolist()
list_b, list_a = [], []
for s in col2:
    s_split = s.split(',')
    list_b += s_split
    list_a.append(len(s_split))

df_B = pd.DataFrame({'Col_1': np.repeat(df_temp['Col_1'].to_numpy(),
                                        list_a),
                     'Col_2': list_b})

---

下記の折れ線グラフはpandasのメソッドを使った場合（既に投稿されている回答を参考にしました）と、上記コードによる処理の時間を比較したものです（benchitを使用して作成；縦軸が処理時間、横軸が元のデータフレームの行数）。
データフレームの大きさに関わらず、リストに変換してfor文で回したもの（赤線）がpandasのメソッドを使った場合（青線）よりも高速となっています。

Comments

[asapan]

大変有益な情報をありがとうございます。explodeメソッドでも十分早くて使えたのですが、こういったプラスアルファの内容をいただけるのは大変勉強になりました。ありがとうございます。貴方をベストアンサーとさせていただきます。

Answer 2

こういう感じです。

>>> print(df_A)
   Col_1  Col_2
0      1  a,b,c
1      2    a,d
2      3    NaN
3      4      e
>>> df_A['Col_2'] = df_A['Col_2'].str.split(',')
>>> df_B = df_A.dropna().explode('Col_2').reset_index(drop=True)
>>> print(df_B)
   Col_1 Col_2
0      1     a
1      1     b
2      1     c
3      2     a
4      2     d
5      4     e

Comments

[asapan]

explodeというメソッドを初めて知りました。十分早くなりました、ありがとうございます。

Answer 3

果たして高速化できるかどうかは不明ですが、pandas.DataFrame.explode() を試してみてはどうでしょうか。

import pandas as pd
import numpy as np

df_A = pd.DataFrame({
  'Col_1': [1, 2, 3, 4],
  'Col_2': ['a, b, c', 'a, d', np.nan, 'e'],
})


df_B = df_A.copy()
df_B['Col_2'] = df_B['Col_2'].str.split(',')
df_B = df_B.explode('Col_2').dropna().reset_index(drop=True)

print(df_B)

#
   Col_1 Col_2
0      1     a
1      1     b
2      1     c
3      2     a
4      2     d
5      4     e

Comments

[melian]

おっと、間違えてしまいました。この回答は無視して下さい。

[melian]

修正しました。

[asapan]

explodeというメソッドを初めて知りました、試してみたところ高速になりました、ありがとうございます。