Python ２つのcsvファイル内の文字列の差を得たい

Question

前提・実現したいこと

現在、自然言語処理の学習をしていますが、困っています。
jupyter notebook上でpythonを使いcsvファイルの処理をしています。

コンマで区切られた文字列が、多く入っている２つのcsvファイルがあります。

あそこ,あたり,あちら,あっち,あと,あな,あなた,あれ,いくつ,いつ,いま,いや,いろいろ,うち,おおまか,おまえ,おれ,が>い,かく,かたち,かやの,から,がら,きた,くせ,ここ,こっち,こと,ごと,こちら,ごっちゃ,これ,これら,ごろ,さまざま

一,両手,垂,げ,まま,圭,さん,どこ,どこ,町,歩行,何,もの,寺,一,軒,銀杏,樹,一,本,門前,銀杏,樹,本堂,一,丁半,石,非常,寺,ほか,何,何,寺,もの,大概,村,君,人間,所,はず,圭,さん,首,圭,さん,妙,事,感心,首,真直,圭,さん,それ,鍛冶,屋,前,馬
,沓,ところ,巧み,もの,寺,時間,馬,沓,珍,の,君,あれ,道具

csv2の中身は夏目漱石の物語に出てくる名詞を抽出したデータなのですが、余計な言葉(ストップワード)がたくさんはいってしまっています。
なので、csv1に用意した定型のようなストップワードリストを使って、csv2のファイルの中からcsv1内の文字列を削除したいです。

最終的にやりたいことは、csv2 - csv1 = csv3　の式のようにcsv3を作成したいです。
csv2の文字列からcsv1と一致する文字列をすべて削除し、削除したファイルを作成したいということです。

試したこと

qiitaなどの記事を多く読み調べてみましたが、わかりませんでした。
すみません！

よろしくお願いいたします。

Answer 1

csv1とcsv2がそれぞれuniqueな文字列の集合ならば、setを使うと差集合とか和集合を簡単に扱えますよ。ただし**頻度情報が失われるのと、**要素の並びは不定にります。昇順等にしたければsetからlistに戻す方法があります。
(強調部分、hayatakaさんのコメントを受けて追記)

たとえば、
https://note.nkmk.me/python-set/

s1 = "あそこ,あたり,あちら,あっち,あと,あな,あなた,あれ,いくつ,いつ,いま,いや,いろいろ,うち,おおまか,おまえ,おれ,が>い,かく,かたち,かやの,から,がら,きた,くせ,ここ,こっち,こと,ごと,こちら,ごっちゃ,これ,これら,ごろ,さまざま"
s2 = "一,両手,垂,げ,まま,圭,さん,どこ,どこ,町,歩行,何,もの,寺,一,軒,銀杏,樹,一,本,門前,銀杏,樹,本堂,一,丁半,石,非常,寺,ほか,何,何,寺,もの,大概,村,君,人間,所,はず,圭,さん,首,圭,さん,妙,事,感心,首,真直,圭,さん,それ,鍛冶,屋,前,馬,沓,ところ,巧み,もの,寺,時間,馬,沓,珍,の,君,あれ,道具"

csv1 = set(s1.split(","))
csv2 = set(s2.split(","))

csv3 = csv2 - csv1

print(*csv3, sep=",")
# 屋,人間,丁半,銀杏,軒,時間,首,ほか,圭,事,もの,歩行,本,垂,門前,巧み,樹,村,感心,珍,君,さん,げ,石,鍛冶,それ,道具,本堂,非常,何,寺,真直,町,所,一,妙,前,どこ,両手,沓,の,馬,ところ,大概,まま,はず

# 並び順をコントロールしたければ、もう一度リストに戻してsortする
csv3_list = list(csv3)
csv3_list.sort()

print(*lst, sep=",")
# げ,さん,それ,ところ,どこ,の,はず,ほか,まま,もの,一,丁半,両手,事,人間,何,前,君,圭,垂,大概,妙,寺,屋,巧み,感心,所,時間,本,本堂,村,樹,歩行,沓,珍,町,真直,石,軒,道具,銀杏,鍛冶,門前,非常,首,馬

Comments

[hayataka2049]

後ろで頻度情報に変換して取り扱う可能性があるので、ちょっとまずいような気も

[tachikoma]

そう言われればそうですね。頻度情報を求めるなら、このタイミングでは処理せずにCounterで全部回してから該当のキーを消すほうが速そうですね。

[ul_]

ご回答ありがとうございます！参考にさせていただきました。Python文法忘れてるなと感じました、勉強します

Answer 2

簡単な例でやってみましょう。

a = [0,1,2,3,4,5,6,7,8,9]
b = [0,5,8]

result = [x for x in a if x not in b]
print(result)  # => [1, 2, 3, 4, 6, 7, 9]

このコードは（ある程度pythonに慣れていれば）難しいとは思わないと思います。

あとはaとbを単語のリストにして、同じことをすれば良いのですね。

単語のリストは、csvを文字列として読み込んで、カンマで区切れば恐らく得られます（もしかしたら改行文字が絡んでくるのかもしれませんが）。

Comments

[ul_]

上手く行きました！ありがとうございます！！

Answer 3

あまり副作用を考えていないようにも見受けられるので、
mecabなど形態素解析ライブラリの辞書にストップワードを入れて、
適当な品詞を設定
形態素解析時に、不要な品詞を取り除く