2つのcsvを比較し，一致しないものを条件付きで別のシートに書き込む方法

前提・実現したいこと

以下２つのcsv(test1.csv，test2.csv)から，test3のようなcsvを作りたいと考えています．

やりたいこと
・２つのcsvから不要な列　’詳細’　の削除
・２つのcsvから不要な行，　ジャッジ＝’FP’　の削除
・項目ごとにTP→FP，もしくはFP→TPになった項目が判断できるように，新しくtest3.csvというファイルに必要なデータを追加して書き込み
（TP→TP，FN→FNに変化した項目は除外）

＜test1.csv＞

リスト	項目	正解データ	判断結果	ジャッジ
001	〇	犬	犬	TP
002	△	猫	犬	FN
002	▽	犬	猫	FN
003	◇	猫	猫	TP

＜test2.csv＞

リスト	項目	正解データ	判断結果	ジャッジ
001	〇	犬	犬	TP
002	△	猫	犬	FN
002	▽	犬	犬	TP
002	-	no_data	猫	FP
003	◇	猫	犬	FN

＜test3.csv＞

リスト	項目	正解データ	判断結果	ジャッジ１	ジャッジ２
002	▽	犬	犬	FN	TP
003	◇	猫	犬	TP	TP

該当のソースコード

python
1import pandas as pd
2df1 = pd.read_csv('test1.csv')
3df2 = pd.read_csv('test2.csv')
4
5df1 = df1[['リスト', '項目', '正解データ', '判断結果', 'ジャッジ']]
6
7df1_tp = df1
8df1_fp[df1.judge!= 'FP']

試したこと

・csvの読み込み
・不要な列、行の削除

困りごと

データフレームの扱い方がわからず、TP→FNなどの比較の仕方がわからず困っております。
また、データを追加しながら新しいcsvに書き込む方法がわからないため、教えていただけると幸いです。

meg_

2021/08/19 14:34

やりたいこと3つの内どこまで実現できていますか？調べたことはありますか？

行動規範の内容に同意します

回答1件

ベストアンサー

・２つのcsvから不要な列　’詳細’　の削除

python
1>>> print(df1)
2   リスト 項目 正解データ 判断結果 ジャッジ  詳細
30       1   〇         犬       犬       TP   NaN
41       2    △         猫       犬       FN   NaN
52       2    ▽         犬       猫       FN   NaN
63       3    ◇         猫       猫       TP   NaN
7>>> print(df2)
8   リスト 項目 正解データ 判断結果 ジャッジ  詳細
90       1   〇         犬       犬       TP   NaN
101       2    △         猫       犬       FN   NaN
112       2    ▽         犬       犬       TP   NaN
123       2    -    no_data       猫       FP   NaN
134       3    ◇         猫       犬       FN   NaN
14>>> df1.drop('詳細', inplace =True, axis=1)
15>>> df2.drop('詳細', inplace =True, axis=1)
16>>> print(df1)
17   リスト 項目 正解データ 判断結果 ジャッジ
180       1   〇         犬       犬       TP
191       2    △         猫       犬       FN
202       2    ▽         犬       猫       FN
213       3    ◇         猫       猫       TP
22>>> print(df2)
23   リスト 項目 正解データ 判断結果 ジャッジ
240       1   〇         犬       犬       TP
251       2    △         猫       犬       FN
262       2    ▽         犬       犬       TP
273       2    -    no_data       猫       FP
284       3    ◇         猫       犬       FN

dropについては、pandas.DataFrameの行・列を指定して削除するdropをお読みください。

・２つのcsvから不要な行，　ジャッジ＝’FP’　の削除

python
1>>> df1 = df1[df1['ジャッジ'] != 'FP']
2>>> df2 = df2[df2['ジャッジ'] != 'FP']
3>>> print(df1)
4   リスト 項目 正解データ 判断結果 ジャッジ
50       1   〇         犬       犬       TP
61       2    △         猫       犬       FN
72       2    ▽         犬       猫       FN
83       3    ◇         猫       猫       TP
9>>> print(df2)
10   リスト 項目 正解データ 判断結果 ジャッジ
110       1   〇         犬       犬       TP
121       2    △         猫       犬       FN
132       2    ▽         犬       犬       TP
144       3    ◇         猫       犬       FN

・項目ごとにTP→FP，もしくはFP→TPになった項目が判断できるように，新しくtest3.csvというファイルに必要なデータを追加して書き込み
（TP→TP，FN→FNに変化した項目は除外）

python
1>>> df_m = pd.merge(df1[['リスト','項目','正解データ','ジャッジ']].rename(columns = {'ジャッジ':'ジャッジ1'}), df2.rename(columns = {'ジャッジ':'ジャッジ2'}))
2print(df_m)
3>>> print(df_m)
4   リスト 項目 正解データ ジャッジ1 判断結果 ジャッジ2
50       1   〇         犬        TP       犬        TP
61       2    △         猫        FN       犬        FN
72       2    ▽         犬        FN       犬        TP
83       3    ◇         猫        TP       犬        FN
9>>> df3 = df_m[df_m['ジャッジ1'] != df_m['ジャッジ2']][['リスト','項目','正解デ ータ','判断結果','ジャッジ1','ジャッジ2']]
10>>> print(df3)
11   リスト 項目 正解データ 判断結果 ジャッジ1 ジャッジ2
122       2    ▽         犬       犬        FN        TP
133       3    ◇         猫       犬        TP        FN