python csv 特定文字列のある行を削除

Question

pythonでcsvを動かすコードを書いております。
処理内容としましては以下となります。

1. フォルダ内にあるcsvを結合
2. 「果物」列で重複しているものを1つ残し、それ以外の行を削除。
3. csvへ出力
4. csv読み込み
5. 3列目に「トマト」の文字列があれば行を削除
6. 3列目に「きゅうり」の文字列があれば行を削除
7. csvへ出力

上記「5.」「6.」のところが考え通りに動きません。
どのような記述がよろしいのかご教示願います。
ちなみに「5.」のみの記述とした場合、「トマト」の文字列ありの行は削除できます。

import json,csv
import pandas as pd
import glob
import csv

csv_files = glob.glob('*.csv')
list = []

for f in csv_files:
    list.append(pd.read_csv(f))

df = pd.concat(list)

df.duplicated("果物")
dropdf=df.drop_duplicates("果物")

dropdf.to_csv("csv matome choufuku.csv",index=False)


data_rows=[]
with open('csv matome choufuku.csv','r') as f:      #csv読み込み

    reader=csv.reader(f)
    header=next(reader)
    for row in reader:
        if 'トマト' not in row[2]: #上記「5.」の処理
            data_rows.append(row)
        elif 'きゅうり' not in row[2]: #上記「6.」の処理
            data_rows.append(row)

with open('csv kansei.csv','w',newline='') as f:
    writer=csv.writer(f)
    writer.writerows(data_rows)

Answer 1

条件文を

if 'トマト' not in row[2]: #上記「5.」の処理
    data_rows.append(row)
elif 'きゅうり' not in row[2]: #上記「6.」の処理
    data_rows.append(row)

のように記述すると

• ３列目が**'きゅうり'**の場合

最初の条件文は『 'トマト'以外』なので条件に合致し、２行目で　data_rowsに行を追加される

• ３列目が**'トマト'**の場合

最初の条件文では条件に合致しないが、３行目の２つ目の条件が『'きゅうり'以外』なので条件に合致し、４行目で　data_rowsに行を追加される

という動作になりますので、仕様を満たしません。

仕様を満たしたいのであれば、

if row[2] not in ['トマト', 'きゅうり'] : #上記「5.」「6.」の処理
    data_rows.append(row)

のように記述するとよいのではないでしょうか。

---

とここまで書きましたが、コードの前半のCSVのマージ部では **pandas **を使っているにもかかわらず、後半部はわざわざループで処理しているのは不思議でしょうがありません。
後半部も pandas をつかって

import pandas as pd
import glob

csv_files = glob.glob('*.csv')
list = []

for f in csv_files:
    list.append(pd.read_csv(f))

df = pd.concat(list)

df.duplicated("果物")
dropdf=df.drop_duplicates("果物")

dropdf.to_csv("csv matome choufuku.csv",index=False)

# 3列目が'トマト'か'きゅうり'の列を削除
kansei_df = dropdf[~dropdf.iloc[:, 2].isin(['トマト' ,'きゅうり'])]
# CSV化
kansei_df.to_csv('kansei.csv')

では駄目なのでしょうか？

---

仕様を間違って理解しておりましたので、修正します。

【修正コード】

for文の場合の条件文

if ('トマト' not in row[2]) and ('きゅうり' not in row[2]):
    data_rows.append(row)

pandasの場合

kansei_df = dropdf[~dropdf.iloc[:, 2].str.contains('トマト|きゅうり')]

となるかと思います。

---

【更に追記】
'いちご'をふくむ文字列以外を削除

for文の場合の条件文

if 'いちご' in row[2]:
    data_rows.append(row)

pandasの場合

kansei_df = dropdf[dropdf.iloc[:, 2].str.contains('いちご')]

Comments

[daisanrock]

ご対応ありがとうございます！
申し訳ありません。個別にできたコードを無理やり？合体しているので不思議なコードになっているかもしれません。初心者なので認識できていません…。

'トマト'または'きゅうり'の文字列を含む行の削除は出来ませんでした。

[magichan]

セルの文字が 'トマト' または 'きゅうり'なのではなく、'トマト'または'きゅうり'を『含む』文字列なのですね・・。勘違いしてましたので修正します。

[daisanrock]

逆に例えば 'いちご' を含む文字列以外の行を削除のパターンもご教示いただけないでしょうか？

[magichan]

回答を追記しました。
たぶん動作すると思いますが、（大変申し訳ありませんが）動作確認を行っておりませんので、動かなかったら文句を言ってください