pandas.dataframeのiterrowsが遅すぎる

Question

閲覧ありがとうございます。

dataframe型に格納されているデータをElasticSearchにbulk insertしようと考えております。

一旦、dataframeの中をiterrowsでループしながら、ElasticSearchのbulk insert用に成形してESに登録したのですが、50万件登録するのに5分くらいかかってしまうので、速度を改善したいです。

iterrowsはもともと遅いってことが文献にのっていたのですが、代替案（mapを使う、不要なインスタンスを作らないコーディング等）を調べたのですが、知識不足で実装することが困難です。

下記にソースを記載しますので、改善策をアドバイスいただけると助かります。

def es_doc_generator(df):
    """
    ES登録ドキュメント生成　
    """
    # パフォーマンスチューニング中
    doc = []
    for d in df.iterrows():
        doc = [{key: d[1][key] for key in d[1].keys()}]

        # イメージ:log-20200725
        tdatetime = datetime.datetime.strptime(doc[0]['eventTimestamp'], '%Y-%m-%d %H:%M:%S')
        index = "log-" + str(tdatetime.year) + str(tdatetime.month) + str(tdatetime.day)
        yield {
            "_index": index,
            "_id": doc[0]['SeqNo'],
            "_type": "_doc",
            "_source": doc[0],
        }

def es_insert(df):
    #- Elasticsearch定義ファイル読み込み
    __es_dict = read_es_conf(ES)

    #- Elasticsearch接続
    __esCon = es_connect(__es_dict)

    # ESデータをbulk投入
    helpers.bulk(__esCon,es_doc_generator(df))

if __name__ == "__main__":
    # df

    df = pd.DataFrame({'A': ['A1', 'A2', '2020/05/21 12:00:00','001'],
                   'B': ['B1', 'B2', '2020/05/22 12:00:00','002'],
                   'C': ['C1', 'C2', '2020/05/22 13:00:00','003']},
                  index=['ONE', 'TWO', 'eventTimestamp','Seq'])
　　es_insert(df)

Answer 1

メモリ的に問題ないのであれば、先に DataFrameをDataFrame.to_dict() を使って 行ごとにdict化したリストデータを作成しておき、そのリストをループするとよいのではないでしょうか。

動作確認

import pandas as pd
import datetime

def es_doc_generator(df):
    # 行毎にdict化しておく
    sources = df.to_dict('record')
    # eventTimestamp列より indexのリストを作成しておく
    indexes = pd.to_datetime(df['eventTimestamp']).dt.strftime('log-%Y%m%d').values
    # SeqNo列より idのリストを作成しておく
    ids = df['SeqNo'].values
    # 上記で作成した データを纏めてループで回す
    for index, id, source in zip(indexes, ids, sources):
        yield {
            "_index": index,
            "_id": id,
            "_type": "_doc",
            "_source": source,
        }

df = pd.DataFrame([['A1', 'A2', '2020/05/21 12:00:00','001'],
                   ['B1', 'B2', '2020/05/22 12:00:00','002'],
                   ['C1', 'C2', '2020/05/22 13:00:00','003']],
                  columns=['ONE', 'TWO', 'eventTimestamp','SeqNo'])

for data in es_doc_generator(df):
    print(data)

上記のコードを実行した結果は以下のようになります

{'_index': 'log-20200521', '_id': '001', '_type': '_doc', '_source': {'ONE': 'A1', 'TWO': 'A2', 'eventTimestamp': '2020
/05/21 12:00:00', 'SeqNo': '001'}}
{'_index': 'log-20200522', '_id': '002', '_type': '_doc', '_source': {'ONE': 'B1', 'TWO': 'B2', 'eventTimestamp': '2020
/05/22 12:00:00', 'SeqNo': '002'}}
{'_index': 'log-20200522', '_id': '003', '_type': '_doc', '_source': {'ONE': 'C1', 'TWO': 'C2', 'eventTimestamp': '2020
/05/22 13:00:00', 'SeqNo': '003'}}

次にダミーの50万件のデータを作成して、速度を測ってみます

import pandas as pd
import time

def es_doc_generator(df):
    sources = df.to_dict('record')
    indexes = pd.to_datetime(df['eventTimestamp']).dt.strftime('log-%Y%m%d').values
    ids = df['SeqNo'].values
    for index, id, source in zip(indexes, ids, sources):
        yield {
            "_index": index,
            "_id": id,
            "_type": "_doc",
            "_source": source,
        }

# 50万件のダミーを作成
N = 500000
df = pd.DataFrame({
    'ONE': [f'{d:03d}' for d in range(N)],
    'TWO': [f'{d:03d}' for d in range(N)],
    'eventTimestamp': ['2000-01-01 00:00:00'] * N,
    'SeqNo': [f'{d:03d}' for d in range(N)]
})

# 50万件のループ処理の時間を計測する
st = time.time()
for d in es_doc_generator(df):
    pass
print(f'elapsed_time: {time.time() - st:.3f} sec')

結果

elapsed_time: 3.606 sec

3秒そこそこで完了しますので、こちらの処理がボトルネックになることはないのではないでしょうか。

Comments

[zenji0705]

コメントありがとうございました。ご指摘いただいた処理内容で実行したところ、数秒で対応することができました。あとはElasticSearchのバルクインサートもparallel_bulkによる分散登録もできるようなので、もっと早く処理できそうです。助かりました。

Answer 2

mapを使わずに簡単に出来る範囲でという事ですか？

loop=df.shape[0]
for idx in range(loop):
    print(df.loc[idx, 'columnname'])

でもmapで出来る事ならやはりmapを理解して使った方がいいです

Comments

[zenji0705]

ご指摘ありがとうございます。mapを理解するよう意識します。locによる配列の座標のループも考えたんですが、あんまり早くならなかったのでうーん・・と唸っていた次第です。