[Python]dataframeで、複数の条件の内、どれか該当するものがあれば抽出したい

Question

#データ説明
1列目にメールアドレス（email）、2列目にその送り主と思わしき複数の候補名（names）が入っているデータフレームdf_email_with_names があります。
1列目 email は、名前の一部を含み、同じgmailドメインではあるものの、アドレス自体には統一の規則はありません。
2列目 names はセミコロン（;）で各名前が区切られており、名前の前に不要なスペースが入っているケースもあります。また、名前の数もバラバラです。

index	email	names
0	[e-mail]	Tanaka Takeshi; 　Horiguchi Minoru; Yamada Hanako
1	[e-mail]	Uchida Kiwamu; Hisaishi Makoto
2	[e-mail]	Oyama Yasuko
...	...	...
100	[e-mail]	Inoue Yuta; Yamasaki Toru;　Kawaguchi Saki

#得たい結果
df_email_with_namesの各行ごとに、namesの名前の一部がemailに含まれている送り主を抽出し、新たな列 corresponding_nameに格納したいです。

#現状以下のようにコーディングしてみました（環境: google colaboratory)

import pandas as pd
import numpy as np


# names列の不要なセミコロン除去
df_email_with_names['names'] = df_email_with_names['names'].str.split(";")
#df_email_with_names['names'] = df_email_with_names['names'].str.replace("　", "")　 ←うまく行かないので次のブロックで対応



# names列の不要なスペース除去
l_cleaned = []

for i in range(len(df_email_with_names['names'])):
  temp = df_email_with_names["names"][i]
  temp2 = [s.lstrip(" ").lower() for s in temp]  
  l_cleaned.append(temp2) 

# names列をきれいにしたものを元のデータフレームとマージ
s_cleaned = pd.Series(l_cleaned)
df_cleaned = pd.DataFrame({'cleaned_names': s_cleaned})
df_cleaned['index'] = df_cleaned.reset_index().index
df_merge_original_data = pd.merge(df_email_with_names, df_cleaned, on='index', how='outer')
df_merge_original_data




#cleaned_names列の一部が、emailに含まれるかどうかを判定
df_out = pd.DataFrame(index=range(0,len(df_merge_original_data)),columns=['index'])
df_out['index'] = df_out.reset_index().index


for l_checker in df_merge_original_data["cleaned_names"]:
    #print("=============================================")
    #print(l_checker)

    for checker in l_checker:
     #print("-----------")

      #print(checker)
      last_name = checker.split()[0]
      first_name = checker.split()[-1]
      # print("last name:" + last_name)      
      # print("first name:" + first_name)

      mail_picker_words = [
               first_name.lower(),
               last_name.lower(),
               (first_name[:2]+last_name[:2]).lower(),
               (last_name[:2]+first_name[:2]).lower()
               ]

      #print(mail_picker_words)
      
      df_target_filtered = df_merge_original_data[np.array([df_merge_original_data['email'].str.contains(part) for part in mail_picker_words]).any(axis=0)]　#←うまくいかない
      df_out = pd.merge(df_out, df_target_filtered, on='index', how='outer')

      #print(df_out)

もっときれいに書けるはずなのですが、技量不足でうまくいかず・・・。
ご指導のほど、どうぞよろしくお願いいたします。

Answer 1

以下のコードは一例として参考にしてみて下さい。現状では [e-mail] にマッチする名前がありません(姓名が逆になっているから)。

import pandas as pd
import io
import re

csv_data = '''
email,names
[e-mail],Tanaka Takeshi; Horiguchi Minoru; Yamada Hanako
[e-mail],Uchida Kiwamu; Hisaishi Makoto
[e-mail],Oyama Yasuko
[e-mail],Inoue Yuta; Yamasaki Toru; Kawaguchi Saki
'''.strip()

df_email_with_names = pd.read_csv(io.StringIO(csv_data))

#
emails = df_email_with_names['email'].str.extract(r'(^.+?)@')
names = df_email_with_names['names'].str.split(r';\s*')
df_email_with_names['corresponding_name'] = [
  j[0] if j else '' for j in [
    [i for i in n if re.search(r'.*?'.join([*e]), i, re.IGNORECASE)]
    for e, n in zip(emails.values[:,0], names)]]

print(df_email_with_names)

#
                    email                                            names   corresponding_name
0       [e-mail]  Tanaka Takeshi; Horiguchi Minoru; Yamada Hanako       Tanaka Takeshi 
1    [e-mail]                   Uchida Kiwamu; Hisaishi Makoto      Hisaishi Makoto 
2  [e-mail]                                     Oyama Yasuko                      
3         [e-mail]        Inoue Yuta; Yamasaki Toru; Kawaguchi Saki       Kawaguchi Saki

追記

df_email_with_names['corresponding_name'] のコードについて、噛み砕いてどのような動作をしているのか

email を [e-mail], names を Inoue Yuta; Yamasaki Toru; Kawaguchi Saki の場合で説明してみます。

[j[0] if j else '' for j in [
  [i for i in n if re.search(r'.*?'.join([*e]), i, re.IGNORECASE)]
  for e, n in zip(emails.values[:,0], names)]]

# zip の部分の e と n
for e, n in zip(emails.values[:,0], names)
e => 'ksaki'
n => ['Inoue Yuta', 'Yamasaki Toru', 'Kawaguchi Saki']

# 次の内包表記で names と照合
[i for i in n if re.search(r'.*?'.join([*e]), i, re.IGNORECASE)]
# email 文字列を一文字づつに分解して '.*?' で join
r'.*?'.join([*e]) => r'k.*?s.*?a.*?k.*?i'
# names と照合(大文字・小文字の違いは無視)、'Kawaguchi Saki' にマッチ
re.search(r'.*?'.join([*e]), i, re.IGNORECASE)
=>
  re.search(r'k.*?s.*?a.*?k.*?i', 'Inoue Yuta', re.IGNORECASE)
  re.search(r'k.*?s.*?a.*?k.*?i', 'Yamasaki Toru', re.IGNORECASE)
  re.search(r'k.*?s.*?a.*?k.*?i', 'Kawaguchi Saki', re.IGNORECASE)

# 最後の内包表記ではマッチする名前がない email に関しては
# corresponding_name を空文字列('')に置き換えています
[j[0] if j else '' for j in [ ... ]]

追記 Part 2

以下の組み合わせについては抽出することができないようです。
email=[e-mail], names=Kaneko Hidehiro; Itoh Hidetaka

names列の姓と名を入れ替えて、…

姓と名を入れ替えて、で思い付いた事がありまして、以下の様に書き替えてみました。これで Kaneko Hidehiro も抽出できます。

df_email_with_names['corresponding_name'] = [
  j[0] if j else '' for j in [[
    i for i in n
    if any(re.search(r'.*?'.join([*e]), j, re.IGNORECASE)
           for j in (i, re.sub(r'^(.+?)\s+(.+)', r'\2 \1', i)))
  ] for e, n in zip(emails, names)]]

Comments

[yasu_00]

早速ご回答頂き、感謝申し上げます！！

しかし、お恥ずかしい限りなのですが、当方、正規表現と、多重ループの内包表記に疎いため、なぜこのコードで欲しい結果が得られるのかが、完全には理解できておりません。
申し訳ございませんが、df_email_with_names['corresponding_name'] のコードについて、噛み砕いてどのような動作をしているのかご教示いただけませんでしょうか？

また、「ファーストネームかラストネームを含む」という以外の条件にも対応できるように拡張すると、どうなるかもご教示頂けないでしょうか？（質問文中のコードのmail_picker_words が２個以上ございます。最初に投稿した後に編集したので、melian様がご覧になったタイミングのものと内容が変わってしまった可能性がございます。）お手数をおかけします。

[melian]

追記してみましたが、これ以上の噛み砕いた説明はできません。「「ファーストネームかラストネームを含む」という以外の条件にも対応できるように拡張すると〜」ですが、具体例があると回答できるかもしれません。

[yasu_00]

ありがとうございました！ご丁寧に解説くださり、大変助かりました！

「ファーストネームかラストネームを含む」という以外の条件にも対応できるように拡張すると〜」ですが、ファーストネームの最初の２文字＋ラストネームの最後の２文字を結合したメールアドレス（例：Takei Koichi→[e-mail]）もあるようなので、このタイプも抽出できると嬉しいです。

[melian]

emails = df_email_with_names['email'].str.extract(r'(^.+?)@')
を
emails = df_email_with_names['email'].str.extract(r'(^[a-z]+).*@').values[:,0]
に変更してみて下さい。これはメールアドレスの先頭にあるアルファベットの部分文字列だけを比較対象にしています。

[yasu_00]

ありがとうございました！！

[yasu_00]

頂いたコードで試してみたところ、概ねうまくいきました！ありがとうございます！しかしながら、以下の組み合わせについては抽出することができないようです。
email=[e-mail], names=Kaneko Hidehiro; Itoh Hidetaka

hideもkanekoも、namesとemailにも入っているので抽出できる気がするのですが、なぜできないのでしょうか？こちらのタイプもカバーするには、どのようにコードを修正する必要があるのでしょうか？ご教示頂けたら幸いです。

[melian]

hidehikaneko と Kaneko Hidehiro なので姓と名が逆になっています。私の回答した方法ではこのパターンを抽出できません。例えば email が [e-mail] などとなっていたら抽出できるのですが。。。

[yasu_00]

そうなのですね。names列の姓と名を入れ替えて、reverse namesとして新たな列を作っておき、それを用いて抽出できるかやってみようと思います。ありがとうございます！

[melian]

追記してみましたので試してみて下さい。

[yasu_00]

おかげさまでうまくいきました！年末にも関わらず、ありがとうございました！！！

[yasu_00]

何度も追加で質問をしてしまい、恐縮です。

その後、いくつか回してみたところ、以下のようなエラーが発生いたしました。もしかしたら、名前が外国人名で、ピリオドやハイフンがあるからかと思い、除いてみましたが、エラーは解決されませんでした。どのようにしたらエラーを回避できるか、ご教示頂けたら幸いです。

---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
<ipython-input-23-82a36d7b3e3b> in <module>()
4 if any(re.search(r'.*?'.join([*e]), j, re.IGNORECASE)
5 for j in (i, re.sub(r'^(.+?)\s+(.+)', r'\2 \1', i)))
----> 6 ] for e, n in zip(emails, names)]]

2 frames
<ipython-input-23-82a36d7b3e3b> in <genexpr>(.0)
3 i for i in n
4 if any(re.search(r'.*?'.join([*e]), j, re.IGNORECASE)
----> 5 for j in (i, re.sub(r'^(.+?)\s+(.+)', r'\2 \1', i)))
6 ] for e, n in zip(emails, names)]]

TypeError: 'float' object is not iterable

[melian]

考えられる原因としては、入力データに nan が含まれていることです。つまり、names が空欄になっている行があるのではないでしょうか。

[yasu_00]

ご指摘ありがとうございました。メールアドレスに数字が含まれているときにemailsがnanになってしまうことがわかったので、数字を除いてあげてから該当部分を回したところ、うまくいきました！！