pandasのDataframeをpickleファイルで保存した後に新たにデータを追記したい。

前提・実現したいこと

pandasのDataframeをpickleファイルで保存した後に新たにデータを追記したいのですが，うまくいきませんでした。ご教授お願いします。

発生している問題・エラーメッセージ

データの追加がうまくできない。

該当のソースコード

import pandas as pd
import pickle
import numpy as np

def load_dumps(f):
    obj = []
    while 1:
        try:
            obj.extend(pickle.load(f))
        except:
            break
    return obj

results = {}
apd     = {}
for id in range(20211215, 20211225, 1):
    Mat         = np.random.randint(1, 100)
    phy         = np.random.randint(1, 100)
    eng         = np.random.randint(1, 100)
    info1       = {'Mat':Mat, 'phy':phy, 'eng':eng}
    results[id] = info1
    Results     = pd.DataFrame(results).T

apd[20211225]   = info2 = {'Mat':80, 'phy':70, 'eng':92}

with open('Test_results.pickle', 'wb') as f:
    pickle.dump(Results, f)
    
with open('Test_results.pickle', 'rb') as f:
    Results = pickle.load(f)
    print('data:\n', Results)

with open('Test_results.pickle', 'ab') as f:
    pickle.dump(apd, f)
    
with open('Test_results.pickle', 'rb') as f:
    Results = load_dumps(f)
    print('append data:\n', Results)

補足情報（FW/ツールのバージョンなど）

出力結果が['Mat', 'phy', 'eng',20211225]と出力される。

行動規範の内容に同意します

回答1件

ベストアンサー

obj.extend(pickle.load(f)) とする場合、結果(obj の中身)は以下と等価になります。

python
1obj = list(Results) + list(apd)
2print(obj)
3['Mat', 'phy', 'eng', 20211225]
4
5# list(Results) == Results.columns.to_list(), list(apd) == list(apd.keys())

なので、以下の様に変更します。

python
1def load_dumps(f):
2    obj = []
3    while 1:
4        try:
5            obj.extend([pickle.load(f)])
6            # or append
7            # obj.append(pickle.load(f))
8        except EOFError:
9            break
10    return obj

bash
1$ python pickle_data.py
2         :
3
4append data:
5 [          Mat  phy  eng
620211215   52   34   51
720211216   68    7   89
820211217   27   23   86
920211218   29   32   29
1020211219   97   22   20
1120211220   40   47   15
1220211221   31   37   87
1320211222   69   57   58
1420211223   30   30   90
1520211224   97   52   54, {20211225: {'Mat': 80, 'phy': 70, 'eng': 92}}]