pandas同士を前方一致させてマージする方法について

Question

前提・実現したいこと

pandasの2つのデータフレームが、以下の例のように存在しています。

ここで、それぞれの2つのカラム名を閾値をもとに前方一致させ、それらをキーにしてデータをマージしたいと考えております。

インプットのデータフレームの例

df = 
name, size
犬Aの小さい個体の体長, 15
猫Aの小さい個体の体長, 13
金魚Aの体長, 1
犬Aの大きい個体の体長, 110
猫Aの大きい個体の体長, 100

master_df =
name, number_of_types
犬, 700
猫, 500
金魚, 100
：

アウトプットのデータフレームの例

output_df =
name, number_of_types
犬, 700, 犬Aの小さい個体の体長, 15
犬, 700, 犬Aの大きい個体の体長, 110
猫, 500, 猫Aの小さい個体の体長, 13
猫, 500, 猫Aの大さい個体の体長, 100
金魚, 100, 金魚Aの体長, 1
：

参考：エクセル上での抽出イメージ

前方一致検索でVLOOKUPを使うと出来ます。
このような内容をpythonで書きたいです。
https://office-hack.com/excel/vlookup-wildcard/

考えたこと

完全一致や部分一致で特定のdfから条件に合うものは、以下のように書けると思います。

df_master['name'] == '犬'
df['name'].str.contains('犬', na=False)

上記のような抽出のイメージはあるのですが、2つのpandasのデータフレーム上で検索して前方一致でマージする方法についてお知恵を拝借できましたら幸いです。
何卒よろしくお願い申し上げます。

Answer 1

master_df['name'].apply(lambda n: df['name'].str.startswith(n)).idxmax()

にて対象となるデータフレームの Index値を得ることができるかと思いますので、あとは pandas.merge() すると良いかと思います。

import pandas as pd

df = pd.DataFrame({
    'name' : ['犬Aの小さい個体の体長', '猫Aの小さい個体の体長',
              '金魚Aの体長', '犬Aの大きい個体の体長', '猫Aの大きい個体の体長'],
    'size' : [15, 13, 1, 110, 100]})
master_df = pd.DataFrame({
    'name' : ['犬', '猫', '金魚'],
    'number_of_types' : [700, 500, 100]})

df['target'] = master_df['name'].apply(lambda n: df['name'].str.startswith(n)).idxmax()

ret = pd.merge(df, master_df, left_on='target', right_index=True, how='left').drop('target', axis=1)
#        name_x  size name_y  number_of_types
#0  犬Aの小さい個体の体長    15      犬              700
#1  猫Aの小さい個体の体長    13      猫              500
#2       金魚Aの体長     1     金魚              100
#3  犬Aの大きい個体の体長   110      犬              700
#4  猫Aの大きい個体の体長   100      猫              500

Answer 2

dfに別の列を作ってdfのnameにmaster_dfのnameが含まれていたら、
master_dfのnameを登録しておいてそれをキーとして利用する方法はどうでしょう。

import pandas as pd

df = pd.DataFrame(
    [['犬Aの小さい個体の体長', 15],
    ['猫Aの小さい個体の体長', 13],
    ['金魚Aの体長', 1],
    ['犬Aの大きい個体の体長', 110],
    ['猫Aの大きい個体の体長', 100]],
    columns=['name', 'size'])

master_df = pd.DataFrame(
    [['犬', 700],
    ['猫', 500],
    ['金魚', 100]],
    columns=['name', 'number_of_types'])

#master_dfのname列を繰り返し処理
for column_name, item in master_df.name.iteritems():
    #dfのnameにmaster_dfのnameが含まれる場合、master_dfのnameをdfのname_key列として追加
    df.loc[df.name.str.contains(item), 'name_key'] = item
print(df)
'''
          name  size name_key
0  犬Aの小さい個体の体長    15        犬
1  猫Aの小さい個体の体長    13        猫
2       金魚Aの体長     1       金魚
3  犬Aの大きい個体の体長   110        犬
4  猫Aの大きい個体の体長   100        猫
'''

#master_dfのname列とdfのname_key列で結合し、name_key列を削除
output_df = pd.merge(master_df, df, left_on='name', right_on='name_key', how='inner').drop("name_key", axis=1)
print(output_df)
'''
  name_x  number_of_types       name_y  size
0      犬              700  犬Aの小さい個体の体長    15
1      犬              700  犬Aの大きい個体の体長   110
2      猫              500  猫Aの小さい個体の体長    13
3      猫              500  猫Aの大きい個体の体長   100
4     金魚              100       金魚Aの体長     1
'''