Pandasの欠損値を含むDataFrameの結合の仕方について

Question

前提・実現したいこと

pandasで欠損値を含む2つのDataFrameをお互いの欠損値を埋める形で結合したいです。

      a   b    c     d     e     f
101   1   5  NaN   NaN  11.0  13.0
102   2   6  9.0  10.0   NaN   NaN
103   3   7  NaN   NaN  12.0  14.0
105   4   8  NaN   NaN   NaN   NaN

      a   b     c     d     e     f
101   1   5  17.0  19.0   NaN   NaN
102   2   6   NaN   NaN  21.0  22.0
104  15  16  18.0  20.0   NaN   NaN
105   4   8  23.0  24.0   NaN   NaN

上記2つのDataFrameを結合して下記のようにしたいです。
2つのDataFrameは、インデックスが同じならa,bは同値で、c,d,e,fは異値になっています。

      a   b     c     d     e     f
101   1   5  17.0  19.0  11.0  13.0
102   2   6   9.0  10.0  21.0  22.0
103   3   7   NaN   NaN  12.0  14.0
104  15  16  18.0  18.0   NaN   NaN
105   4   8  23.0  24.0   NaN   NaN

DataFrameのコード↓

pd.DataFrame({'a':[1, 2, 3, 4], 'b':[5, 6, 7, 8], 
'c':[np.nan, 9, np.nan, np.nan], 'd':[np.nan, 10, np.nan, np.nan], 
'e':[11, np.nan, 12, np.nan], 'f':[13, np.nan, 14, np.nan]},
index = [101, 102, 103, 105])

pd.DataFrame({'a':[1, 2, 15, 4], 'b':[5, 6, 16, 8], 
'c':[17, np.nan, 18, np.nan], 'd':[19, np.nan, 20, np.nan], 
'e':[np.nan, 21, np.nan, np.nan], 'f':[np.nan, 22, np.nan, np.nan]}, 
index = [101, 102, 104, 105])

試したこと

concatやmaerge、joinなど試しましたが上手く出来ませんでした。
ご指導の方よろしくお願いします。

Answer 1

pandas.DataFrame.update()を使うとよいのではないでしょうか。

https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.update.html#pandas.DataFrame.update

ただし update() DaraFrameを非NaN値で上書きするだけで行の追加は行ってくれませんので、予め追加しておく必要があります。

また update() は破壊的メソッドなのでお気をつけください。

import pandas as pd
import numpy as np

df1 = pd.DataFrame({'a':[1, 2, 3, 4],
                    'b':[5, 6, 7, 8],
                    'c':[np.nan, 9, np.nan, np.nan],
                    'd':[np.nan, 10, np.nan, np.nan],
                    'e':[11, np.nan, 12, np.nan],
                    'f':[13, np.nan, 14, np.nan]},
                   index = [101, 102, 103, 105])

df2 = pd.DataFrame({'a':[1, 2, 15, 4],
                    'b':[5, 6, 16, 8],
                    'c':[17, np.nan, 18, 23.0],
                    'd':[19, np.nan, 20, 24.0],
                    'e':[np.nan, 21, np.nan, np.nan],
                    'f':[np.nan, 22, np.nan, np.nan]},
                   index = [101, 102, 104, 105])

df = df1.reindex(df1.index.union(df2.index))
df.update(df2)
print(df)
#        a     b     c     d     e     f
#101   1.0   5.0  17.0  19.0  11.0  13.0
#102   2.0   6.0   9.0  10.0  21.0  22.0
#103   3.0   7.0   NaN   NaN  12.0  14.0
#104  15.0  16.0  18.0  20.0   NaN   NaN
#105   4.0   8.0  23.0  24.0   NaN   NaN

Comments

[退会済みユーザー]

ありがとうございます、updateメソッドなんてあるんですね、助かりました。