Python Pandas 文字列検索 別カラムに挿入

Question

以下分かり難いと思います、大変申し訳ありません＆ご助言頂ければ幸いです。

1 前提・実現したいこと

chipとcircuitという２つのdfがあり、各カラムは以下のようになっています
(左:chip、右circuit)
　

2 実現したいこと

chipのcolsに入った文字列をカンマ区切りで分解、
その文字列をキーにcircuitのtestを検索、ヒットした全testに対応する
matchの文字列を、chipのtest_matchカラムに代入したいです

3 発生している問題・エラーメッセージ

おおまかな流れは実現出来たのですが、現コードでは以下例のように
最後にヒットしたtestに対応するmatchの値のみ、test_matchに入ります。

例えばID:0はcols:IAA,IBBなので、test:IAAとIBBに対応するmatch:A-BとA-Cを
test_matchに[A-B,A-C]のような形で代入したいです。

4 該当のソースコード

chip = {"ID" : ["A","B","C","D","E","F","G"],"cols" : ["IAA,IBB","nan","nan","nan","IBB,ICC","nan","ICC"]}
circuit = {"test" : ["IAA","IBB","ICC","IDD"],"match" : ["A-B","A-C","B-C","D"]}

pd_chip = pd.DataFrame.from_dict(chip)
pd_circuit = pd.DataFrame.from_dict(circuit)

pd_chip = pd_chip.assign(test_match = "")

for index, row in pd_chip.iterrows():
   for s in row["cols"].split(","):
        pd_chip["test_match"][index] =  pd_circuit.loc[pd_circuit["test"].str.contains(s),"match"].values

5 自分で調べたことや試したこと

pd_chip["test_match"][index] = pd_circuit.loc[pd_circuit["test"].str.contains(s),"match"].values部分を
何かしら変更すればよいと思い、+を+=などにしたり、それらしきコードは思いつくまま
試してみたのですが完全な知識不足でうまくいかず。。。

6 使っているツールのバージョンなど補足情報

Anaconda 3.7

Answer 1

import pandas as pd
import numpy as np

chip = pd.DataFrame({'ID':['A','B','C','D','E','F','G'],'cols':['IAA,IBB',np.nan,np.nan,np.nan,'IBB,ICC',np.nan,'ICC']})
circuit = pd.DataFrame({'test':['IAA','IBB','ICC','IDD'],'match':['A-B','A-C','B-C','D']})

temp = chip[chip.cols.isnull()]
chip = chip.dropna()
chip = chip.assign(C=chip['cols'].str.split(',')).explode('C')

chip = pd.merge(chip, circuit, left_on='C', right_on='test', how='left')
chip.drop(['C','test'], axis=1, inplace=True)

temp2 =chip.groupby('ID')['match'].apply(list)

chip.drop('match', axis=1, inplace=True)
chip = chip.drop_duplicates()
chip = pd.merge(chip, temp2, left_on='ID', right_on='ID', how='left')
chip = pd.merge(chip, temp, left_on='ID', right_on='ID', how='outer')
chip.drop('cols_y', axis=1, inplace=True)
chip.rename(columns={'cols_x':'cols'})
chip = chip.sort_values('ID')

print(chip)                                             
#  ID   cols_x       match
#0  A  IAA,IBB  [A-B, A-C]
#3  B      NaN         NaN
#4  C      NaN         NaN
#5  D      NaN         NaN
#1  E  IBB,ICC  [A-C, B-C]
#6  F      NaN         NaN
#2  G      ICC       [B-C]

Answer 2

このようなデータの場合はpandasで処理するのではなく、Python標準のリストとforループを用いて処理するのが簡単ですし効率も良いです。

import pandas as pd

chip = {"ID" : ["A","B","C","D","E","F","G"],"cols" : ["IAA,IBB","nan","nan","nan","IBB,ICC","nan","ICC"]}
circuit = {"test" : ["IAA","IBB","ICC","IDD"],"match" : ["A-B","A-C","B-C","D"]}
pd_chip = pd.DataFrame.from_dict(chip)
pd_circuit = pd.DataFrame.from_dict(circuit)

# 処理
d_circuit = pd_circuit.set_index('test')['match'].to_dict()
pd_chip = pd_chip.assign(
    test_match=[[d_circuit[i] if i in d_circuit.keys() else ''
                 for i in col.split(',')]
                for col in pd_chip['cols'].tolist()])

Answer 3

きれいなのは思いつかなかったので、愚直に展開してみました。

import pandas as pd
chip = {"ID" : ["A","B","C","D","E","F","G"],"cols" : ["IAA,IBB","nan","nan","nan","IBB,ICC","nan","ICC"]}
circuit = {"test" : ["IAA","IBB","ICC","IDD"],"match" : ["A-B","A-C","B-C","D"]}

pd_chip = pd.DataFrame.from_dict(chip)
pd_circuit = pd.DataFrame.from_dict(circuit)

test_match = list()  # 最終的にtest_match列に入れるためのリスト作成
for col in pd_chip["cols"]:
    cs = col.split(",")
    match_c = list()  # colsの要素ごとに、circuitからmatchした要素を格納するリスト
    for c in cs:
        if c in circuit["test"]:
            idx = circuit["test"].index(c)
            match_c.append(circuit["match"][idx])
    test_match.append(match_c)

pd_chip["test_match"] = test_match
print(pd_chip)
"""
	ID	cols	test_match
0	A	IAA,IBB	[A-B, A-C]
1	B	nan	[]
2	C	nan	[]
3	D	nan	[]
4	E	IBB,ICC	[A-C, B-C]
5	F	nan	[]
6	G	ICC	[B-C]
"""