2つのCSVファイルから条件に合致したデータを別のファイルに出力したい。

Question

前提・実現したいこと

2つのCSVファイルから条件に合致したデータを別のファイルに書き込みたい。

2つのCSVファイルがあります。
1つ目のCSVファイルの2列目(keywordカラム)がキーワードになっており、
2つ目のCSVファイルの1レコードごとにさきほどのキーワードのいずれかがマッチすれば、
そのデータを別のテキストファイルに書き込むPythonプログラムを作成しています。


# 1つ目のCSVファイル(keyword.csv)の中身イメージです　実際には100レコード程度あります。
num,keyword
0,dog
1,cat
2,fox

# 2つ目のCSVファイル(original.csv)の中身イメージです　実際には5万レコード程度あります。
id,keyword,city,nation
0,panda,Tokyo,Japan
1,fox,Osaka,Japan

# 出力したいファイル(write.txt)の中身イメージです
1,fox,Osaka,Japan

発生している問題・エラーメッセージ

処理時間がかかり、1時間程度まってもファイルが出力されない状態のままとなっています。

該当のソースコード

import pandas as pd

f11 = open('keyword.csv','r',encoding="utf_8")
f12 = open('original.csv','r',encoding="utf_8")
f21 = open('write.txt','a',encoding="utf_8")

df_id = pd.read_csv('keyword.csv')
df_only_id = df_id.loc[:,["keyword"]]

len_df_id = len(df_id)

for u_id in range(len_df_id):
    keyword = df_id.iloc[u_id,1]
    while True:
        line = f12.readline()
        if line:
            if keyword in line:
                f21.writelines(line)
            else:
                pass
        else:
            break

f11.close
f12.close
f21.close

試したこと

ファイルのパスについては簡易プロダグラムを別に用意して問題ないことを確認しています。

補足情報（FW/ツールのバージョンなど）

プログラム開発、実行環境は以下となります。
Python3.9.1
Visual studio code

初歩的な質問で恐縮ですが、回答いただけると幸いです。

Comments

[meg_]

データを少なくして実行してみるとどうなりますか？ それでも終わらない場合は無限ループに陥ってないか確認してください。

[sanesane]

コメントありがとうございます。
検索元となるkeyword.csvは変えずに、検索条件に引っかかるデータを残して検索先(original.csv)のデータ量を少なくした所、処理が完了しました。
完成した空の0バイトのファイルが出力されました。
検索先のデータを目視するとキーワードが含まれているのでデータは出力されるはずと思っているのですがうまくいかないです。

Answer 1

df_k = pd.read_csv('keyword.csv')
df_d = pd.read_csv('original.csv')
result = df_d[df_d['keyword'].isin(df_k['keyword'])]

これで秒で終わります！（同量のデータで確認済み）
参考
https://github.com/pandas-dev/pandas/blob/master/doc/cheatsheet/Pandas_Cheat_Sheet.pdf
こういうデータを扱うたぐいのライブラリはいちいち for ループを使ったりしなくても上手いことやってくれる関数があったりするのでまずは落ち着いてドキュメントを探してみましょー。

Comments

[sanesane]

非常にスマートな回答ありがとうございました。意図通りの動きとなりました。学習を続けていきたいと思います。

Answer 2

全部pandasでやった方が速いと思います。
以下を動かしてみてください。

import pandas as pd

df_id = pd.read_csv('keyword.csv')
df_org = pd.read_csv('original.csv')

df_write = df_org[df_org['keyword'].isin(df_id['keyword'])]

df_write.to_csv('write.csv', mode='a')

Comments

[sanesane]

非常にスマートな回答ありがとうございました。意図通りの動きとなりました。学習を続けていきたいと思います。