Python3.7.4でPandasを使ってデータの結合をしようとしています。

IDをキーとして複数のDataFrameを統合して一つの大きなDataFrameに入れようとしています。

テーブル１の列　　：ID、A、B、C
テーブル２の列　　：ID、D、E、F
テーブル３の列　　：ID、G、H、I
統合テーブルの列　：ID、A、B、C、D、E、F、G、H、I

・この時、テーブル１、２、３はいづれか、またはすべて存在しない場合もありますが、統合テーブルの列としては固定でID、A、B、C、D、E、F、G、H、Iを持っておきたいです。

・また、行数が違う場合でも連結したいです。

具体的に書くとこのようなイメージです。

テーブル１
ＩＤ　　　　Ａ　　　Ｂ　　　Ｃ
ｉｄ１　　ａ１　　ｂ１　　ｃ１
ｉｄ２　　ａ２　　ｂ２　　ｃ２
ｉｄ３　　ａ３　　ｂ３　　ｃ３

テーブル２：なし

テーブル３
ＩＤ　　　　Ｇ　　　Ｈ　　　Ｉ
ｉｄ１　　ｇ１　　ｈ１　　ｉ１
ｉｄ２　　ｇ２　　ｈ２　　ｉ２
ｉｄ３　　ｇ３　　ｈ３　　ｉ３
ｉｄ４　　ｇ４　　ｈ４　　ｉ４

統合テーブル（ほしい結果）
ＩＤ　　　Ａ　　　Ｂ　　　Ｃ　　　Ｄ　　　Ｅ　　　Ｆ　　　Ｇ　　　Ｈ　　　Ｉ
ｉｄ１　ａ１　　ｂ１　　ｃ１　　　　　　　　　　　　　　ｇ１　　ｈ１　　ｉ１
ｉｄ２　ａ２　　ｂ２　　ｃ２　　　　　　　　　　　　　　ｇ２　　ｈ２　　ｉ２
ｉｄ３　ａ３　　ｂ３　　ｃ３　　　　　　　　　　　　　　ｇ３　　ｈ３　　ｉ３
ｉｄ４　　　　　　　　　　　　　　　　　　　　　　　　　ｇ４　　ｈ４　　ｉ４

columnDf = pd.DataFrame(columns=['ID', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I'])
table1Df = pd.DataFrame({
'ID': ['id1', 'id2', 'id3'],
'A' : ['a1' , 'a2' , 'a3'],
'B' : ['b1' , 'b2' , 'b3'],
'C' : ['c1' , 'c2' , 'c3']},
index = [0, 1, 2])

table3Df = pd.DataFrame({
'ID': ['id1', 'id2', 'id3', 'id4'],
'G': ['g1' , 'g2' , 'g3' , 'g4'],
'H': ['h1' , 'h2' , 'h3' , 'h4'],
'I': ['i1' , 'i2' , 'i3' , 'i4']},
index = [0, 1, 2, 3])

#【試したこと】

concat

concatedDf = pd.concat([columnDf, table1Df, table3Df], sort=True)

 A    B    C    D    E    F    G    H    I   ID

0 a1 b1 c1 NaN NaN NaN NaN NaN NaN id1
1 a2 b2 c2 NaN NaN NaN NaN NaN NaN id2
2 a3 b3 c3 NaN NaN NaN NaN NaN NaN id3
0 NaN NaN NaN NaN NaN NaN g1 h1 i1 id1
1 NaN NaN NaN NaN NaN NaN g2 h2 i2 id2
2 NaN NaN NaN NaN NaN NaN g3 h3 i3 id3
3 NaN NaN NaN NaN NaN NaN g4 h4 i4 id4
となりうまくいきません。同じidのところは同じ行の該当の列に値を入れたいです。

concat その２

concatedDf = pd.concat([columnDf, table1Df, table3Df], keys=['ID'])
print(concatedDf)

結果
Empty DataFrame
Columns: [ID, A, B, C, D, E, F, G, H, I]
Index: []

merge

mergedDf = columnDf.merge(table1Df, on='ID')
mergedDf = mergedDf.merge(table3Df, on='ID')
print(mergedDf)

結果
Empty DataFrame
Columns: [A_x, B_x, C_x, D, E, F, G, H, I, ID, A_y, B_y, C_y]
Index: []

以下のような結果を得るにはどうすればいいかご教授をお願い致します。
'　　　ＩＤ　　　Ａ　　　　Ｂ　　　　Ｃ　　　　Ｄ　　　　Ｅ　　　　Ｆ　　　　Ｇ　　　　　Ｈ　　　　Ｉ
０　　ｉｄ１　　ａ１　　　ｂ１　　　ｃ１　　ＮａＮ　　ＮａＮ　　ＮａＮ　　　　ｇ１　　　ｈ１　　　ｉ１
１　　ｉｄ２　　ａ２　　　ｂ２　　　ｃ２　　ＮａＮ　　ＮａＮ　　ＮａＮ　　　　ｇ２　　　ｈ２　　　ｉ２
２　　ｉｄ３　　ａ３　　　ｂ３　　　ｃ３　　ＮａＮ　　ＮａＮ　　ＮａＮ　　　　ｇ３　　　ｈ３　　　ｉ３
３　　ｉｄ４　ＮａＮ　　ＮａＮ　　ＮａＮ　　ＮａＮ　　ＮａＮ　　ＮａＮ　　　　ｇ４　　　ｈ４　　　ｉ４

行動規範の内容に同意します

回答1件

ベストアンサー

mergeで「how='outer'」を指定すれば良いかと思います。

Python
1import pandas as pd
2
3df1 = pd.DataFrame({'ID':[1,2,3],'A':['a1','a2','a3'],'B':['b1','b2','b3'],'C':['c1','c2','c3']})
4#    A   B   C  ID
5#0  a1  b1  c1   1
6#1  a2  b2  c2   2
7#2  a3  b3  c3   3
8
9df2 = pd.DataFrame({'ID':[],'D':[],'E':[],'F':[]})
10#Empty DataFrame
11#Columns: [D, E, F, ID]
12#Index: []
13
14df3 = pd.DataFrame({'ID':[1,2,3,4],'G':['g1','g2','g3','g4'],'H':['h1','h2','h3','h4'],'I':['i1','i2','i3','i4']})
15#    G   H   I  ID
16#0  g1  h1  i1   1
17#1  g2  h2  i2   2
18#2  g3  h3  i3   3
19#3  g4  h4  i4   4
20
21df4 = pd.merge(df1,df2, on='ID',how='outer')
22df4 = pd.merge(df4,df3, on='ID',how='outer')
23#     A    B    C  ID   D   E   F   G   H   I
24#0   a1   b1   c1   1 NaN NaN NaN  g1  h1  i1
25#1   a2   b2   c2   2 NaN NaN NaN  g2  h2  i2
26#2   a3   b3   c3   3 NaN NaN NaN  g3  h3  i3
27#3  NaN  NaN  NaN   4 NaN NaN NaN  g4  h4  i4

投稿2019/10/07 11:38

meg_

総合スコア10579

coelacanth9

2019/10/08 00:38

早速のご回答ありがとうございます。 meg_さんの教えて頂いた通りでうまくいきました。一つ確認ですが、やはり、今回で言う所のテーブル２は、なかったとしても列のみ設定した空のDataFrameを用意しておく必要はどうしてもある、という認識を持ちましたが、合っていますでしょうか？つまり、 dstDf = pd.DataFrame({'ID': [], 'A': [],'B': [],'C': [],'D': [],'E': [],'F': [],'G': [], 'H': [], 'I': []}) のような全列を持ったDataFrameをあらかじめ用意しておき、それにたいして、存在するテーブル１とテーブル３のみを結合する、という方式では、DstDfとテーブル１Df、テーブル３Dfに重複して存在する列に識別子がついた状態でマージされてしまうため、私が望んでいる結果にはならない、という認識です。