python pandasのto_csvメソッドについて

Question

実現したいこと

csv出力部分（to_csv）の処理の実行時間の短縮

前提

Pandasのto_csvメソッドでデータフレームをcsv出力していますが
データ量が膨大ということもあり、csv出力に時間がかかっています。
自分のPCでの処理時間: 83.74789秒

発生している問題・エラーメッセージ

特になし。

該当のソースコード

import pandas as pd
import time

start = time.perf_counter()

# データフレームの作成
df = pd.DataFrame(index=range(100000), columns=range(200))

# データフレームに0から順番にデータを入れる
for i in range(100000):
    for j in range(200):
        df.iat[i, j] = i*200+j

# CSVファイルに出力
df.to_csv("output.csv", index=False, , encoding="utf_8_sig")

end = time.perf_counter()
print(f"処理時間: {end - start:.5f}秒")

試したこと

to_csvの代わりにcsv.writerを使用してcsv出力しましたが
ファイルサイズがより大きくなり、処理時間は変わりませんでした。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[melian]

時間がかかっているのはファイル I/Oではなく、「データフレームに0から順番にデータを入れる」処理です。データフレームの作成と0から順番にデータを入れる処理を一括で行うとよいかと思います。

import pandas as pd
import numpy as np

df = pd.DataFrame(np.arange(100000 * 200).reshape(100000, -1))
df.to_csv("output.csv", index=False, encoding="utf_8_sig")

[bbbjoker1218]

ありがとうございました。

Answer 1

ありがとうございました。