2つのデータフレームを比較し、 一方に存在しないインデックスがあった場合、条件分岐するには

Question

お世話になります。
以下の命令を実現したいのですが、方法がわからず困っています。

Pandasの2つのデータフレームを比較し、
一方に存在しないインデックスがあった場合、
条件分岐する。

しかし以下のコードを実行すると、
df_sc["リンク"]とdf_scv["リンク"]に差分がないのにもかかわらず、
elseに進んでしまいます。

# 以下の2つのデータフレームのカラム名は同じ
df_sc = pd.DataFrame(dic_data) # スクレイピングしてきたデータ
df_csv = pd.read_csv("data.csv") # 前回スクレイピングしたデータ

# 差分のインデックスのみ抽出したデータフレームの作成
df_comp = df_sc[~df_sc["リンク"].isin(df_csv["リンク"])]

# 差分のdf_compをdf_csvと連結
df_concat = pd.concat([df_csv, df_comp], ignore_index=True, sort=False)

# 連結したデータフレームdf_concatをcsvファイルとして保存
df_concat.to_csv(path + csv_name, index=False, encoding="utf_8_sig")

# df_csv["リンク"]のカラムにないものがdf_sc["リンク"]にあった場合、通知したい
for i in df_sc["リンク"]:
    if i in df_csv["リンク"]:
        print("既知のリンクです", i)
    else:
        print("新しいリンクです", i)
        notification(i) # 通知の関数

原因がわかる方がおられましたら、どうかご教示お願いいたします。
また、より良い書き方があれば、教えてくださいませ。

利用環境
Python 3.9.7
pandas 1.3.3

Comments

[kirara0048]

ここで欲しいデータはdf_compで既に得られているのではないでしょうか。

[castlemist]

ご質問どうもありがとうございます。
タイトルの付け方、あるいは日本語があまり良くなかったかもしれません。
質問の意図は「条件分岐が上手くいかないのですが、どうすればよいでしょうか」といった意味です。

Answer 1

また、より良い書き方があれば、教えてくださいませ。

より良いのかどうかは分かりませんが、set クラスの difference() メソッドを使う方法があります。

diffs = set(df_sc['リンク']).difference(set(df_csv['リンク']))
for i in diffs:
    print("新しいリンクです", i)
    notification(i) # 通知の関数

for i in set(df_sc['リンク']) - diffs:
    print("既知のリンクです", i)

Comments

[castlemist]

ご回答どうもありがとうございます。
set型を初めて知りました。大変勉強になります。
便利そうなので詳しく調べてみます。

Answer 2

    if i in df_csv["リンク"]:

df_csv["リンク"]はPandas.Seriesなので、期待される動きはしません。
listの変換しましょう。

>>> print(df_sc)
                                  リンク  質問
0  https://teratail.com/questions/371263     3
1  https://teratail.com/questions/296243     1
2  https://teratail.com/questions/351872     2
>>> print(df_csv)
                                  リンク  質問
0  https://teratail.com/questions/296243     1
1  https://teratail.com/questions/351872     2
>>>
>>> for i in df_sc["リンク"]:
...     if i in list(df_csv["リンク"]):
...         print("既知のリンクです", i)
...     else:
...         print("新しいリンクです", i)
...
新しいリンクです https://teratail.com/questions/371263
既知のリンクです https://teratail.com/questions/296243
既知のリンクです https://teratail.com/questions/351872

Comments

[castlemist]

どうもありがとうございます。
おかげさまで理想の動きをしてくれるようになりました。
大変助かりました。

しかし、for文ではシリーズがリストのように使えているのに、
if文では使えない理由はなんのでしょうか。

[ppaul]

if文の問題ではなく、in演算子の実装の問題です。

Seriesのinを実装している__contains__については、
>>> df['i'].__contains__.__doc__
'True if the key is in the info axis'
となっていて、それはリストの場合に期待できるものとは違うからです。