python pandas でデータが重複生成されてしまうのを解決したい

Question

前提・実現したいこと

データを集計して定型フォーマットのCSVを作ろうとしています。

group(1)

0	1	2	grp
1	N	登録太郎	1
2	EMAIL	[e-mail]	1
3	EMAIL	[e-mail]	1

group(2)

0	1	2	grp
4	N	登録次郎	2
5	EMAIL	[e-mail]	2
6	EMAIL	[e-mail]	2

group(3)

0	1	2	grp
7	N	登録三郎	3
8	EMAIL	[e-mail]	3
9	EMAIL	[e-mail]	3
10	EMAIL	[e-mail]	3

group(1)+group(2)+group(3)を結合して以下のような表を作りたい

0	1	2	3	4
1	N	登録太郎	登録次郎	登録三郎
2	EMAIL	[e-mail]	[e-mail]	[e-mail]
3	EMAIL	[e-mail]	[e-mail]	[e-mail]
4	EMAIL	NaN	NaN	[e-mail]

しかし、結合merge()またはjoinを使って結合してみるとキーが丸ごと増えていってしまう。
これだと、2件の結合なら手動で消せるけれども1000件以上あると考えると手におえない。

0	1	2	3	4
1	N	登録太郎	登録次郎	登録三郎
2	EMAIL	[e-mail]	[e-mail]	[e-mail]
3	EMAIL	[e-mail]	[e-mail]	[e-mail]
4	EMAIL	[e-mail]	[e-mail]	[e-mail]
5	EMAIL	[e-mail]	[e-mail]	[e-mail]
6	EMAIL	[e-mail]	[e-mail]	[e-mail]
7	EMAIL	[e-mail]	[e-mail]	[e-mail]
8	EMAIL	[e-mail]	[e-mail]	[e-mail]
9	EMAIL	[e-mail]	[e-mail]	[e-mail]

発生している問題・エラーメッセージ

pyhonのpandasでデータを集計していますが、EMAIL欄に同じインデックス名称で中身の違うものを結合しようとすると、データが重複して生成されていってしまいます。
 pd.merge後のメールアドレスデータが重複生成されないようにしたい。

該当のソースコード

grp_groupby.get_group(1)

   　　 label	   1	     grp
1	N	登録太郎	1
2	EMAIL	[e-mail]	1
3	EMAIL	[e-mail]	1


grp_groupby.get_group(2)

	label	1	grp
4	N	登録二郎	2
5	EMAIL	[e-mail]	2
6	EMAIL	[e-mail]	2


df_test = pd.merge(grp_groupby.get_group(1),grp_groupby.get_group(2),on='label',how='outer')

	label	1_x	grp_x	1_y	grp_y
1	FN	登録太郎	1.0	登録二郎様	2
2	EMAIL [e-mail]	1.0	[e-mail]	2
3	EMAIL [e-mail]	1.0	[e-mail]	2
4	EMAIL [e-mail]	1.0	[e-mail]	2
5	EMAIL [e-mail]	1.0	[e-mail]	2

試したこと

pandasのmerge()やjoin()を使ってみましたが、重複生成されてしまう点は変わらなかったです。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[meg_]

希望の形を提示すると回答しやすくなるかもしれません。

[gaww]

どうもありがとうございます。希望の形を示してみました。

[meg_]

「df_test = pd.merge(grp_groupby.get_group(1),grp_groupby.get_group(2),on=0,how='outer')
」で、”しかし、結合merge()またはjoinを使って結合してみるとキーが丸ごと増えていってしまう。”の状態のデータフレームになりますか？（カラム0は重複なしなので質問の形にはならないかと思います）

[meg_]

やりたいことはデータフレームのマージではなく、データフレームを横方向に結合することでしょうか？

[gaww]

元データのリストgroup(1)(2)(3)は縦に繰り返された一連のデータです。
これを列１にあるキーワードで集計し、CSV形式で編集できるようにしたいものです。
方向は横でも縦でもよいです。

[gaww]

pd.merge(grp_groupby.get_group(1),grp_groupby.get_group(2),on='label',how='outer')が正しいと思いますので修正しました。

Answer 1

本来質問に対して追記・修正依頼をするところですが、テーブルをMarkdownで書きたいので回答欄に記述します。まず質問に関して最終的に行いたいことが伝わってきません。問題を簡素化して質問するのが良いでしょう。コツとしては

• 生データではなく簡素化した項目にする
• 最終的に得たい結果を具体的に示す
• 見やすいようにMarkdownの表形式を用いる

のが良いと思います。

元のテーブル

0	1	grp
VERSION	3.0	1
EMAIL	[e-mail]	1
VERSION	3.0	1
EMAIL	[e-mail]	1
VERSION	3.0	2
EMAIL	[e-mail]	2
VERSION	3.0	2
EMAIL	[e-mail]	2

があったとして、最終的にどのようなテーブルを作成したいとお考えでしょうか?

Comments

[gaww]

アドバイスどうもありがとうございます。見やすくなりました。

[yymmt]

ありがとうございます。とりあえず何が分かっていないかは理解できました。別途お答えします。

Answer 2

本件のようなデータ作成は行わないようにする

Answer 3

テーブルの作り方ですが、ご質問のようなテーブルを作る事は殆どありません。リレーショナルデータベースの正規化を勉強するのが良いと思いますが、具体的に問題があるのは次の点です。

• キーワード(NやEMAIL)を列に集める (行と列に分散するはNG、できれば列に集める)
• 同じ列名を作らない

最終形態は以下のようなテーブルが良いのではと思います。

N	EMAIL	grp
登録太郎	[e-mail]	1
登録太郎	[e-mail]	1
登録次郎	[e-mail]	2
登録次郎	[e-mail]	2

提示されたgroup(1)からこのテーブルを作るのは大変なため、源泉となるデータから上記の形にするのが良いです。

Comments

[gaww]

アドバイスどうもありがとうございます。