【Python】filterによる条件に一致するデータ抽出について

Question

条件に一致するデータ抽出について質問させてください。

参考にしているサイトは下記です。
https://python.civic-apps.com/map-reduce-filter/

「filter:条件に一致する要素のみ抽出する」

以下のようなコードとなっています（転載させていただきます）

filter(lambda n:n%2==1, items)     #lambda関数がTrueを返す要素（奇数）要素のみ抽出する
[1, 2, 3]
[x for x in items if x%2==1]       #同じ事をリスト内包表記で。（最適な方法）
[1, 3]

条件としている部分をリストにして、
リスト内の値と一つでも一致するなら抽出する。ということをしたいです。

all()関数を使えば実現可能かと思ったのですが、できませんでした。

ご存知のかたがいましたら、教えていただけるとありがたいです。

どうぞよろしくお願いいたします。

=======================
下記追記です。

コードは下記の様な感じです。

# -*- coding: utf-8 -*-
import pandas as pd
import csv
import sys  
code = pd.read_csv("ほげほげ.csv",engine='python',encoding='utf-8') 
codelist = code.values.tolist()
codelist = [ flatten for inner in kcl for flatten in inner ]

with open("ほげほげ書き込み.csv",encoding='utf-8',errors='ignore') as f:
  reader = csv.reader(f)
  header = next(reader)
  rows = [row for row in reader]

with open("hogehogehoge.csv", "w", encoding='utf-8') as f:
  writer = csv.writer(f, lineterminator = "\r\n")
  writer.writerow(header)
  nrows = list(filter(lambda row: row[10] == codelist, rows))
  writer.writerows(nrows)

下から二行目の部分のrow[10]とcodelistが一致しているもののみ、nrowsに代入したいと考えています。

#######################
更に追記
#######################

ほげほげ.csvが以下です。

品物	A(row[0])	B(row[1])	C(row[2])
あ	111	222	333
い	111	222	333
う	111	222	333
え	111	222	333
お	111	222	333
か	111	222	333
き	111	222	333
く	111	222	333
け	111	222	333
こ	111	222	333
さ	111	222	333
し	111	222	333

ほげほげ書き込み.csvが以下です。

Z
111
222
333
111
222
333
111
222
333
111
222
333

例えばこの場合、AとZを比較します。
そうなると、品物の「あ」「え」「き」「こ」
が抽出できる
というような感じです。

Comments

[tiitoi]

入力とフィルタ後の期待する出力の例を記載いただけますか？

[essa]

コードを追記しました。　　入力例と出力例ですが、入力はCSV　フィルタに使用するリストもCSV　出力もCSVです。

[tiitoi]

ほげほげ.csv と ほげほげ書き込み.csv の中身を先頭10行とかだけでもいいので、追記できますか？

[essa]

csvファイルの中身を書きました。ご確認いただければ幸いです。

[tiitoi]

pandas 使うなら、pandas の機能で条件を満たす行を抽出すればよいかと思いますが、それでは駄目なのでしょうか？回答のほうに追記しました。

[essa]

回答ありがとうございます。自分がpandasの機能を知らなかったので、使っていませんでした。ありがとうございます。実行してみたところ、「ValueError: Can only compare identically-labeled Series objects」というエラーがでてしまいました。ちなみにtypeを確認したところ、どちらも<class 'pandas.core.frame.DataFrame'>でした。

[tiitoi]

想定している data.csv と hoge.csv を回答欄に追記しました。

[essa]

dataとhogeの行数は異なっています。異なった場合はエラーは起こり得るでしょうか？

[essa]

行数ではなく、列数でした。列数が異なっています。

[tiitoi]

data.csv は A, B, C の3列あり、hoge は Z の1列ありますね。そして、data.csv のうち、A列の値がZ列と一致する行を抽出するという認識なのですが、そうではないのでしょうか？回答に記載したCSVと同じであれば、エラーにならないはずです。

[essa]

質問が適切でなかったかもしれません。申し訳ありません。もう一度整理して質問したいと思います。

Answer 1

質問の意図を誤解していたらすみません。
条件判定をする関数をリスト化してチェックすればよいのではないでしょうか？

# 条件一覧
cond1 = lambda x: x % 2 == 0  # 2の倍数
cond2 = lambda x: x % 3 == 0  # 3の倍数
cond3 = lambda x: x > 10  # 10より大きい
conds = [cond1, cond2, cond3]

# 入力
lst = list(range(30))

# 出力
filtered = list(filter(lambda x: all([cond(x) for cond in conds]), lst))
print(filtered)  # [12, 18, 24]

データが大量にあるなら、速度的な面で numpy 使ったほうがよいと思います。

import numpy as np

# 入力
lst = np.arange(30)

# 出力
filtered = lst[(lst % 2 == 0) & (lst % 3 == 0) & (lst > 10)]
print(filtered)  # [12, 18, 24]

追記

追記の例ですと、pandas の機能を使えばよいと思います。

import pandas as pd

data = pd.read_csv('data.csv')
comp = pd.read_csv('hoge.csv')

# data.csv の A 列が hoge.csv の Z 列と一致するもののみ抽出
data[data['A'] == comp['Z']]

品物	A	B	C
あ	111	222	333
え	111	222	333
き	111	222	333
こ	111	222	333

data.csv

品物,A,B,C
あ,111,222,333
い,111,222,333
う,111,222,333
え,111,222,333
お,111,222,333
か,111,222,333
き,111,222,333
く,111,222,333
け,111,222,333
こ,111,222,333
さ,111,222,333
し,111,222,333

hoge.csv

Z
111
222
333
111
222
333
111
222
333
111

Comments

[essa]

新規に質問をさせていただきました。
https://teratail.com/questions/158979
確認していただけるとありがたいです。

Answer 2

リスト内の値と一つでも一致するなら抽出する

こういうことですか？

>>> lst = [3, 1, 4]
>>> gen = filter(lambda e: e in lst, range(0, 10, 2))   # 第一引数はlst.__contains__ でも可
>>> list(gen)
[4]

質問編集を受けて

row[10]とcodelistが一致しているもののみ

『row[10]がcodelistに含まれるもののみ』という意味ではなく？
それならこんなふうに書けますが。

filter(lambda row: row[10] in codelist, rows)

さらに追記

要件が発散してきて良く分からないので、考え得る中で一番簡潔な方法を示します。

with open('ほげほげ.csv') as fin1,  \
        open('ほげほげ書き込み.csv') as fin2:
    
    next(fin1)
    next(fin2)
    
    for line1, line2 in zip(fin1, fin2):
        item, tag1 = line1.split()[:2]
        tag2 = line2.rstrip()
        
        if tag1 == tag2:
            print(item)

実行結果

あ
え
き
こ

pandasを使うならばフィルタリングはpandasの機能に頼った方が良いかと。
読み取りでpandasを使ったりcsvモジュールを使ったり、使い分けている意味が良く分かりません。

Comments

[essa]

質問を追記しました。ご確認いただけると幸いです。

[LouiS0616]

kclはどこから湧いてきたのですか？

[essa]

kclではなく、codelistですね。失礼しました。