2つのPandas.DataFrameの差分を取る方法

ディレクトリ内ファイル一覧を想定した

old
parh updatetime
0 D:/pics/2022.1.1/dev/test2.jpg 2022-02-22 05:54
1 D:/pics/2022.1.4/dev/test4.jpg 2022-02-20 09:54
2 D:/pics/2022.1.4/dev/test1.jpg 2022-02-22 09:54
3 D:/pics/2022.1.1/dev/test.jpg 2022-02-22 09:54

new
parh updatetime
0 D:/pics/2022.1.1/dev/test.jpg 2022-02-22 09:54
1 D:/pics/2022.1.1/dev/test2.jpg 2022-02-22 09:54
2 D:/pics/2022.1.4/dev/test4.jpg 2022-02-22 09:54
3 D:/pics/2022.1.4/dev/test3.jpg 2022-02-22 09:54

という2つのpandas.dataframeがあります．
これを「newの内，oldを比べ新規に追加されたファイルと，updatetimeが変更されたファイル」という条件に合致するファイルの一覧を抽出し，以下のようなdfを作りたいです．

diff
parh updatetime
0 D:/pics/2022.1.1/dev/test2.jpg 2022-02-22 09:54
1 D:/pics/2022.1.4/dev/test4.jpg 2022-02-22 09:54
2 D:/pics/2022.1.4/dev/test3.jpg 2022-02-22 09:54

updatetimeについては厳密に「newの方が日時が新しいか」を確認せず，「oldの値と異なる」という条件で構いません．またnew,oldの行の順序は入れ替わり得ます．

python
1    diff = new[~new.isin(old)]

としたのですが思うような結果になりません．
どのように書けば良いでしょうか．

行動規範の内容に同意します

回答2件

python
1import pandas as pd
2import io
3
4csv_old = '''
5path,updatetime
6D:/pics/2022.1.1/dev/test2.jpg,2022-02-22 05:54
7D:/pics/2022.1.4/dev/test4.jpg,2022-02-20 09:54
8D:/pics/2022.1.4/dev/test1.jpg,2022-02-22 09:54
9D:/pics/2022.1.1/dev/test.jpg,2022-02-22 09:54
10'''
11
12csv_new = '''
13path,updatetime
14D:/pics/2022.1.1/dev/test.jpg,2022-02-22 09:54
15D:/pics/2022.1.1/dev/test2.jpg,2022-02-22 09:54
16D:/pics/2022.1.4/dev/test4.jpg,2022-02-22 09:54
17D:/pics/2022.1.4/dev/test3.jpg,2022-02-22 09:54
18'''
19df_old = pd.read_csv(io.StringIO(csv_old))
20df_new = pd.read_csv(io.StringIO(csv_new))
21
22#
23diff = (
24  df_old.merge(df_new, indicator=True, how='outer')
25        .query('_merge=="right_only"')[df_old.columns])
26
27print(diff)
28#
29                             path        updatetime
304  D:/pics/2022.1.1/dev/test2.jpg  2022-02-22 09:54
315  D:/pics/2022.1.4/dev/test4.jpg  2022-02-22 09:54
326  D:/pics/2022.1.4/dev/test3.jpg  2022-02-22 09:54

投稿2022/03/04 08:24

編集2022/03/04 08:46

melian

総合スコア21234

ベストアンサー

以下のような感じです。

python
1>>> print(df_old)
2                             parh        updatetime
30  D:/pics/2022.1.1/dev/test2.jpg  2022-02-22 05:54
41  D:/pics/2022.1.4/dev/test4.jpg  2022-02-20 09:54
52  D:/pics/2022.1.4/dev/test1.jpg  2022-02-22 09:54
63   D:/pics/2022.1.1/dev/test.jpg  2022-02-22 09:54
7>>> print(df_new)
8                             parh        updatetime
90   D:/pics/2022.1.1/dev/test.jpg  2022-02-22 09:54
101  D:/pics/2022.1.1/dev/test2.jpg  2022-02-22 09:54
112  D:/pics/2022.1.4/dev/test4.jpg  2022-02-22 09:54
123  D:/pics/2022.1.4/dev/test3.jpg  2022-02-22 09:54
13>>> df_old['flag'] = 1
14>>> print(df_new[pd.merge(df_new, df_old, how='left')['flag']!=1])
15                             parh        updatetime
161  D:/pics/2022.1.1/dev/test2.jpg  2022-02-22 09:54
172  D:/pics/2022.1.4/dev/test4.jpg  2022-02-22 09:54
183  D:/pics/2022.1.4/dev/test3.jpg  2022-02-22 09:54