データフレーム結合の整形について

いつもお世話になります。
2点質問させていただきます。

1点目は複数のデータフレームの結合の際の整形について質問させていただきます。
以下のようなデータフレームがあった場合、B列をインデックスにして、
行を並び替える方法についてご教示願います。

以下の場合ですと、[あ、い、う、え]をインデックスにしたいですが、df1は「え」が欠損しており、
df2は「い」が欠損しており、df3は「う」が欠損しています。
その結果、結合した際に行数が合わなくなり、「あ～え」のデータを横並びにできません。
理想の形のように共通した行に合わせて、データを横並びにさせたいです。

pyhton
1import pandas as pd
2
3df1 = pd.DataFrame({"A":[1,2,3],"B":["あ","い","う"]})
4df2 = pd.DataFrame({"A":[11,33,44],"B":["あ","う","え"]})
5df3 = pd.DataFrame({"A":[111,333,444],"B":["あ","い","え"]})
6df4 = pd.DataFrame({"A":[1111,2222,3333,4444],"B":["あ","い","う","え"]})
7#一旦リスト化
8df_list=[df1,df2,df3,df4]
9#結合
10df5=pd.concat(df_list,axis=1)

df5
|index|A|B|A|B|A|B|A|B|
|:--|:--:|--:|:--|:--:|--:|
|0|1|あ|11|あ|111|あ|1111|あ|
|1|2|い|33|う|222|い|2222|い|
|2|3|う|44|え|444|え|3333|う|
|3|nan|nan|nan|nan|nan|nan|4444|え|

↓理想の形
|index|A|B|A|B|A|B|A|B|
|:--|:--:|--:|:--|:--:|--:|
|あ|1|あ|11|あ|111|あ|1111|あ|
|い|2|い|nan|nan|222|い|2222|い|
|う|3|う|33|う|nan|nan|3333|う|
|え|nan|nan|44|え|444|え|4444|え|

・
・

2点目ですが、列名が同じなので結合した際に番号を振って、
以下の様に個別化させることは可能でしょうか。

|index|A|B|A|B|A|B|A|B|
|:--|:--:|--:|:--|:--:|--:|

　　　　　　　↓

|index|A1|B1|A2|B2|A3|B3|A4|B4|
|:--|:--:|--:|:--|:--:|--:|

長文失礼いたしました。
よろしくお願いいたします。

行動規範の内容に同意します

回答2件

ベストアンサー

pd.concat()は、データフレームのインデックスを基準にして結合を行います。したがってpd.concat()を用いたい場合は、各データフレームに対してB列の値を1:1対応するようなインデックスを設定する必要があります。
最も簡単な方法は、以下のように各データフレームに.set_index()を適用してB列をインデックスに設定することです。
参考：pandas.DataFrame.set_index — pandas documentation

python
1df_list = [df1, df2, df3, df4]
2
3pd.concat([df.set_index('B', drop=False) for df in df_list],
4          axis=1)
5#      A    B     A    B      A    B     A  B
6# あ  1.0    あ  11.0    あ  111.0    あ  1111  あ
7# い  2.0    い   NaN  NaN  333.0    い  2222  い
8# う  3.0    う  33.0    う    NaN  NaN  3333  う
9# え  NaN  NaN  44.0    え  444.0    え  4444  え

列名を区別する方法として、結合前に各データフレームの列名に接尾辞を付ける方法があります。以下の例では、各データフレームに.add_suffix()を適用して接尾辞を付与しています。
参考：pandas.DataFrame.add_suffix — pandas documentation

python
1pd.concat([df.set_index('B', drop=False).add_suffix(i+1)
2           for i, df in enumerate(df_list)],
3          axis=1)
4#     A1   B1    A2   B2     A3   B3    A4 B4
5# あ  1.0    あ  11.0    あ  111.0    あ  1111  あ
6# い  2.0    い   NaN  NaN  333.0    い  2222  い
7# う  3.0    う  33.0    う    NaN  NaN  3333  う
8# え  NaN  NaN  44.0    え  444.0    え  4444  え

もう一つ、pd.concat()のkey引数を利用して結果のデータフレームをマルチインデックス構造にする方法があります。

python
1pd.concat([df.set_index('B', drop=False) for df in df_list],
2          keys=range(1, 5),
3          axis=1)
4#      1          2           3          4
5#      A    B     A    B      A    B     A  B
6# あ  1.0    あ  11.0    あ  111.0    あ  1111  あ
7# い  2.0    い   NaN  NaN  333.0    い  2222  い
8# う  3.0    う  33.0    う    NaN  NaN  3333  う
9# え  NaN  NaN  44.0    え  444.0    え  4444  え

投稿2020/09/16 04:33

kirara0048

総合スコア1399

sham0909

2020/09/16 06:06

基本的な内容から教えていただきありがとうございました。内容がようやく理解できました。

行動規範の内容に同意します

こういう格好ですか？　

python3
1import pandas as pd
2
3df1 = pd.DataFrame({"A":[1,2,3],"B":["あ","い","う"]})
4df2 = pd.DataFrame({"A":[11,33,44],"B":["あ","う","え"]})
5df3 = pd.DataFrame({"A":[111,333,444],"B":["あ","い","え"]})
6df4 = pd.DataFrame({"A":[1111,2222,3333,4444],"B":["あ","い","う","え"]})
7
8dfs = [df1,df2,df3,df4]
9for i, d in enumerate(dfs,1):
10    d = d.set_index("B", drop=False)
11    d.columns = ["A"+str(i),"B"+str(i)]
12df = pd.concat(dfs,axis=1)
13print(df)
14
15#A1   B1    A2   B2     A3   B3    A4 B4
16#あ  1.0    あ  11.0    あ  111.0    あ  1111  あ
17#い  2.0    い   NaN  NaN  333.0    い  2222  い
18#う  3.0    う  33.0    う    NaN  NaN  3333  う
19#え  NaN  NaN  44.0    え  444.0    え  4444  え