pd.mergeの内部結合をしたい

Question

前提・実現したいこと

pythonのマージについて質問です。

【前提】
①df2:6730行
②df_files:6486行(画像ファイルのpathからデータフレームにしたもの)

この２つのデータを内部結合した時、6730行になってしまいます。
私の認識では双方のキーが一致したもののみ残るので最大で6486行かと思います。
なぜ実行した結果が6730行になってしまったのでしようか？

発生している問題・エラーメッセー

6730行と6486行のデータを内部結合した結果、6730行になってしまう。

該当のソースコード

---

#追加：df2の作成

import pandas as pd
import numpy as np
import glob
import cv2

df = pd.read_csv("anotation_result.csv")
df.shape

(8100, 2)

df2 = df.copy()
df2.isnull().sum()

data 0
smile 65
dtype: int64

df2 = df2.dropna()
df2.isnull().sum()

data 0
smile 0
dtype: int64

df2.shape

(8035, 2)

df2 = df2.drop_duplicates()
df2.duplicated().sum()

0

df2.shape

(6731, 2)

df2.to_csv("data2.csv")

---

####df2を読み込み

df2 = pd.read_csv("data2.csv")
df2.shape

#####フォルダ内の画像データのpathを読み込み

files = glob.glob("/画像データのあるフォルダのpath/*")

len(files)

6486

######filesのデータフレームを作成

df_files = pd.DataFrame({"data":files})

df_files.drop_duplicates()
df_files.duplicated().sum()

0

#####マージ

df_join = pd.merge(df2, df_files, how="inner",on="data",indicator=True)
df_join

df_join["_merge"].value_counts()

both 6730
right_only 0
left_only 0
Name: _merge, dtype: int64

Comments

[bsdfan]

df2はどんな内容なのでしょうか。
df2で重複がある場合、ここで書かれているようなことが起こることもあります。

[shishi_maru440]

今回の目的はdf_filesの画像ファイルにカテゴリを割り当てることです。
(機械学習の為のdataの前処理です)
df2は画像ファイル名が格納されている["data"]列とファイルのカテゴリが
入っている["smile"]列があります。
このdf2の["data"]をもとにdf_filesの画像ファイル名が格納されている["data"]と
内部結合させカテゴリを割り当てたいと思っています。

※df2は欠損値と重複行の削除は実施済です。

[meg_]

> ※df2は欠損値と重複行の削除は実施済です。
その処理のコードを含んだコードをマークダウンで記入してください。

[shishi_maru440]

欠損値と重複行の処理のコードを追加しました。
作成後のサンプルデータは下記にあります。

[meg_]

コードはマークダウンで記入されると回答者にとって読みやすくなります。
https://teratail.com/help#about-markdown

[ppaul]

df_files.shape は （6486,) になっていますか？

[shishi_maru440]

df_files.shapeの結果は
(6486, 1)です。

[ppaul]

len(set(df2['data'])) は何になっていますか？

[shishi_maru440]

len(set(df2['data'])) の結果は
6442です。

Answer 1

結論①df2["data"]のみ重複している行を削除できていなかった
df2を作成する段階で下記コードを追加

df2["data"].drop_duplicates()
df2 = df2.dropna()
df2.isnull().sum()