指定した列のcsvファイルの中から、文字を検索し一致したときに、その行を持ってくる方法

Question

実現したいこと

指定した列のcsvファイルの中から、文字を検索し(テキストデータから読み取り)一致したときに、その行を持ってくる方法を知りたいです。
具体的には
csvファイル(member.csv)
no,month,blood
1,5,A
1,1,B
1,5,A
2,2,C
2,7,D
3,12,A
4,11,D

テキストデータ(file.txt)
1
4

出力結果のcsv（result.csv）
no,month,blood
1,5,A
1,1,B
1,5,A
4,11,D

といったCSVファイルがある場合に列名「no」について、値が「１」と「4」のものを出力する方法が知りたいです。

実際に、扱うデータはcsvファイルが200万行程度で、検索に扱うテキストデータは200行ほどです。
私が扱うデータが多いため、csv処理のライブラリはpandasではなく、daskという高速処理が可能なライブラリを使用しています。

また、pandasを用いた方法も教えていただけると幸いです。

発生している問題・エラーメッセージ

出力結果のcsv（result.csv）
no,month,blood
1,5,A
1,1,B
1,5,A
4,11,D

ではなく、
no,month,blood
4,11,D

となっています。

該当のソースコード

# coding: shift-jis

import dask.dataframe as dd

with open('file.txt', 'r') as f:
    kw_list1 = f.read().split("\n")


# ==========================================================================================
# ヘッダーの型指定(処理の高速化に必要)
dtype_dict={'no':'object',
            'month':'object',
            'blood':'object',}
# ==========================================================================================


# ==========================================================================================


# マスタの読み込み
member = dd.read_csv("member.csv", encoding='utf-8',engine='python', dtype=dtype_dict)

for list in kw_list1:
    member_list = member[member['no'] == str(list)]
    
    
    print(member_list )

member_list .to_csv('result.csv',header=True,single_file = True,index=False)

#member.csv
no,month,blood
1,5,A
1,1,B
1,5,A
2,2,C
2,7,D
3,12,A
4,11,D


#file.txt
1
4

Comments

[TakaiY]

作業としては出力結果のCSVができればいいのでしょうか。
この問題が解決した後に、さらに処理をしたいなどということはありますか。

Answer 1

また、pandasを用いた方法も教えていただけると幸いです。

import pandas as pd

with open('file.txt', 'r') as f:
    kw_list1 = f.read().split("\n")

member = pd.read_csv("member.csv", encoding='utf-8', dtype=str)
member_list = member.query('no in @kw_list1')
member_list.to_csv('result.csv', header=True, index=False)

result.csv

no,month,blood
1,5,A
1,1,B
1,5,A
4,11,D

Answer 2

dask と pandas はデータフレームの扱い方にほとんど違いはありません。

import dask.dataframe as dd


df = dd.read_csv("member.csv")

with open('file.txt', 'r') as f:
    keywords = f.read().split("\n")

filter = df[df.no.isin(keywords)]
result = filter.compute()
result.to_csv("result.csv", header=True, index=False)

• df.no という風にドット記法で、カラム名を呼び出しています。この no はカラム名の、"no" です。
• isin() で指定した値が含まれているか判断します。boolean を返します。
• compute() でデータフレームを算出します。ここが、pandas とは違う点です。
• 算出されたデータフレームをファイルに書き込んで終了です。

Answer 3

とりあえず、簡単なやつを書きました。

import csv

with open('file.txt', mode='r') as f:
    no_list = f.read().splitlines()

with open('member.csv', mode='r', newline='') as m,\
     open('result.csv', mode='w') as r:

    member_list = csv.reader(m)

    result_list = csv.writer(r)    
    result_list.writerow(['no', 'month', 'blood'])

    for member in member_list: 
        if member[0] in no_list:
            result_list.writerow(member)

わざわざcsvリーダで読むこともなかったかもしれません。