データフレームのリストを一つのファイルとして保存したい

Question

前提・実現したいこと

df = pd.DataFrame({'A': A_key,
                   'B': B_key,
                   'C': C_key,
                   'D': D_key,
                    })

df_list.append(df)

for 文でdfを複数作りdf_listに格納しました。
dfを１つづつ取り出して、to_csv()で保存をすると大量のcsvファイルとして保存されてしまいます。df_listとして一つのファイルとして保存する方法を教えていただきたく思います。

Comments

[melian]

df_list に入っているデータフレームは全て同じ列名ですか？

[tomoysh]

はい。すべて同じ列名です。

Answer 1

df_list に入っているデータフレームは全て同じ列名ですか？

はい。すべて同じ列名です。

テストデータを作成して試してみました。

import pandas as pd
import numpy as np

df_list = []

df_list.append(pd.DataFrame({
  'A': [1], 'B': [2], 'C': [3], 'D': [4],
}))

df_list.append(pd.DataFrame({
  'A': [5, 9], 'B': [6, 10], 'C': [7, 11], 'D': [8, 12],
}))

df_list.append(pd.DataFrame({
  'A': [13, 17, 21], 'B': [14, 18, 22], 'C': [15, 19, 23], 'D': [16, 20, 24],
}))

for i, df in enumerate(df_list):
  print(f'df_list[{i}]:\n{df}', end='\n\n')

# Save to a CSV file
with open('output.csv', 'w') as f:
  for df in df_list:
    df.to_csv(f, mode='a')

# df_list
df_list[0]:
   A  B  C  D
0  1  2  3  4

df_list[1]:
   A   B   C   D
0  5   6   7   8
1  9  10  11  12

df_list[2]:
    A   B   C   D
0  13  14  15  16
1  17  18  19  20
2  21  22  23  24

output.csv

,A,B,C,D
0,1,2,3,4
,A,B,C,D
0,5,6,7,8
1,9,10,11,12
,A,B,C,D
0,13,14,15,16
1,17,18,19,20
2,21,22,23,24

output.csv を読み込んでデータフレームリストへ再構成します。

df_list = pd.read_csv('output.csv')
idx = [-1] + np.where(df_list.iloc[:,0].isnull())[0].tolist() + [len(df_list)]
df_list = [
  df_list.iloc[(a+1):b][df_list.columns[1:]].reset_index(drop=True)
  for a, b in zip(idx, idx[1:])]

for i, df in enumerate(df_list):
  print(f'df_list[{i}]:\n{df}', end='\n\n')

#
df_list[0]:
   A  B  C  D
0  1  2  3  4

df_list[1]:
   A   B   C   D
0  5   6   7   8
1  9  10  11  12

df_list[2]:
    A   B   C   D
0  13  14  15  16
1  17  18  19  20
2  21  22  23  24

Answer 2

import pickle

with open('df_list.pickle', mode='wb') as f:
  pickle.dump(df_list, f)

でいけるかと思います。

呼び出す時は、

with open('df_list.pickle', mode='rb') as f:
  df_list= pickle.load(f)

です

Answer 3

復元可能だが人間に可読でなくても良いならpickleを使います。

sample = [df0, df1, df2]
import pickle
with open('sample.pkl', 'wb') as f:
    pickle.dump(sample,f)

with open('sample.pkl', 'rb') as f:
    restore = pickle.load(f)

人間に可読で復元可能でなくても良いならループで順に書き込みます。

sample = [df0, df1, df2]
with open('sample.csv', 'w') as f:
    for df in sample:
        df.to_csv(f)

すべて同じ列名です。ということであれば、以下が簡単でしょう。

sample = [df0, df1, df2]
pd.concat(sample).to_csv('sample.csv')

Comments

[tomoysh]

できました。ありがとうございました。