Python Pandas 大量データの部分一致検索

Question

前提・実現したいこと

Pandasで大量データの一部一致検索を行いたいです。
処理件数が多く、どのように処理すればいいか分からず、悩んでいます。

１：列Aのキーワードを元に列B内を検索。
２：”部分一致”すれば、列Cに部分一致したデータ(列Bの値）を全てカンマ区切りで出力します。
３：それ以外は　NA　を列Cへ出力します。

【データサンプル↓】プログラム実行前

列A（100万行rawdata）　　｜　　　列B（20万行rawdata）　　　　｜　　列C（空白）
アイス　　　　　　　 　 たまごっち２　　　　　　　　　　
たまごっち　　　　　 　　　 アイス　　　　　　　　　　　　　　
ほげほげランド　　　　　　　　　お茶　　　　　　　　　　　　　　　　
ほげほげマウス　　　　　　　　　ほげほげランドスーパー
綾鷹　　　　　　　　　　　　　　ほげほげランドエクストラ　　　　　　
・・・　　　　　　　　　　　　　・・・　　　　　　　　　　　　　　
・・　　　　　　　　　　　　　　・・　　　　　　　　　　　　　　　　

【データサンプル↓】プログラム実行後

列A（100万行rawdata）　　｜　　　列B（20万行rawdata）　　　　｜　　列C（出力結果）
アイス　　　　　　　 　 たまごっち２　　　　　　　　　　　　 アイス
たまごっち　　　　　 　　　 アイス　　　　　　　　　　　　　　　NA
ほげほげランド　　　　　　　　　お茶　　　　　　　　　　　　　　　　ほげほげランドスーパー,ほげほげランドエクストラ
ほげほげマウス　　　　　　　　　ほげほげランドスーパー 　　 NA
綾鷹　　　　　　　　　　　　　　ほげほげランドエクストラ　　　　　　NA
・・・　　　　　　　　　　　　　・・・　　　　　　　　　　　　　　　・・・
・・　　　　　　　　　　　　　　・・　　　　　　　　　　　　　　　　・・
・　　　　　　　　　　　　　　　・　　　　　　　　　　　　　　　　　・

発生している問題・エラーメッセージ

データが膨大な為、単純にループすると処理が終わりません（１０４８５７６行×２０万行）。

試したこと

https://officedic.com/excel-vba-highspeed-find/
こちらのサイトのDictionaryを使用した方法で、”完全一致”は出来ました。
（VBA running time は大体15秒くらいでした）

Pandasでも処理を行いたいです。
joinKeyword = "|".join(keywords)
上記を使用して、A列をリスト化、それを用いてB列をstring_containsしてみましたが、
データが多いのか処理が永遠に終わりませんでした。

補足情報（FW/ツールのバージョンなど）

Python3

Answer 1

pandasは数値の計算は結構速いのですが、文字列操作はあまり早くありません。完全一致ではハッシュ値を使っているのですがそこそこですが、部分一致になると非常に遅いです。

そういう処理を高速にやりたければデータベースを使うことをお勧めします。
Nグラムを使うDBもあるようですので、調べてみてはいかがでしょうか。

Comments

[takoasi]

データベースを使ってみます！
ありがとうございます。