一か所だけmergeがうまくいかない

Question

前提・実現したいこと

データフレームの中に、
「福岡｜福岡」となっているようなカラムが３つあり、
一度.str.split('|')で区切った後、
1列目だけを抜き出し、
再度元のデータフレームに結合することで
前処理をしようとしています。

すると2つ目のカラムと元のデータフレームを
結合しようとしたとき、
データがありえないくらい大きくなってしまいました。

元のデータフレームは
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 8557 entries, 0 to 8556
Data columns (total 57 columns):
A 8557 non-null object
B 8557 non-null object
C 1241 non-null float64
D 1241 non-null object
E 1241 non-null object
F 1241 non-null object
G 1093 non-null object
H 1225 non-null object
I 4362 non-null object
J 4362 non-null float64
K 4362 non-null float64

みたいな感じです。

該当のソースコード

import pandas as pd
import numpy as np
import datetime as dt
import codecs

with codecs.open("G:\属性_11月分.csv",
                 "r", "Shift-JIS", "ignore") as file:
    df = pd.read_table(file, delimiter=",", dtype={'ユーザー名': object})
df.head()

df.dropna(subset=['ホテル名'], inplace=True)

date_birth = df['生年月日'].str.split('|', expand=True)
a = date_birth[[0]]
a.rename(columns= {0: '生年月日'}, inplace=True)

#mergeしたらデータの個数が大きくなるところ
name = df['ホテル名'].str.split('|', expand=True)
b = name[[0]]
b.rename(columns={0: 'ホテル名'}, inplace=True)

'''
<class 'pandas.core.frame.DataFrame'>
Int64Index: 1241 entries, 3 to 8555
Data columns (total 1 columns):
ホテル名    1241 non-null object
dtypes: object(1)
memory usage: 14.5+ KB
'''

live = df['居住地'].str.split('|', expand=True)
c = live[[0]]
c.rename(columns={0: '居住地'}, inplace=True)

data = pd.merge(df, a, on='生年月日', how='left')
data.info()

'''
<class 'pandas.core.frame.DataFrame'>
Int64Index: 1950 entries, 0 to 1949
Data columns (total 17 columns):
A        1950 non-null object
B         1950 non-null object
C             1950 non-null float64
ホテル名             1950 non-null object
D             1950 non-null object
E          1950 non-null object
居住地              1522 non-null object
生年月日             1694 non-null object
F             581 non-null object
G          581 non-null float64
H           581 non-null float64
I             1950 non-null object
J     581 non-null object
K    431 non-null object
L    411 non-null object
M       581 non-null object
N        581 non-null object
#問題なし
'''
#データの個数がなぜか何倍にもなる
VV = pd.merge(data, b, on='ホテル名', how='left')

VV.info()

'''
<class 'pandas.core.frame.DataFrame'>
Int64Index: 642509 entries, 0 to 642508
Data columns (total 17 columns):
A        642509 non-null object
B         642509 non-null object
C             642509 non-null float64
ホテル名             642509 non-null object
D             642509 non-null object
E          642509 non-null object
居住地              574292 non-null object
生年月日             640989 non-null object
F             200390 non-null object
G          200390 non-null float64
H           200390 non-null float64
I             642509 non-null object
J     200390 non-null object
K    146738 non-null object
L    139382 non-null object
M       200390 non-null object
N        200390 non-null object
dtypes: float64(3), object(14)
memory usage: 53.9+ MB
なぜかデータが大きくなった
'''

試したこと

pd.merge_asofやhow='inner'などを試しましたが、
解決には至りませんでした。。。

何卒宜しくお願い致します。

Answer 1

キーの値に重複があると行が増えます。

たとえば
a = [福岡, 福岡]とb = [福岡, 福岡]をキーにして結合すると、
a[0]*b[0], a[0]*b[1], a[1]*b[0], a[1]*b[1]の組み合わせが考えられるので[福岡, 福岡, 福岡, 福岡]が返ってきます。

実行したいことは以下で代用できるかと思いますが、いかがでしょうか。

df['ホテル名'] = df['ホテル名'].str.split('|').str.get(1)

Comments

[Pablito]

kirara0048様

ご回答ありがとうございます！
本件は別の方法で解決しましたが、
ご教示頂いた内容も今後の参考にさせて頂きます！
引き続きよろしくお願い致します！