Pythonで2つのcsvファイルを比較し，一致するセルを抽出する方法

Question

前提・実現したいこと

Pythonで2つのcsvファイルを比較して，一致しないセルを抽出する方法が分かりません．
1つのcsvファイルAに「僕」という文字のあるセルがあると仮定して，もう1つのcsvファイルBに「僕」という文字がないセルがあった時にファイルAの「僕」という文字を抽出したいです．

以下が試してみたコードですが，うまくいかなかったのでご教授願いたいです．

該当のソースコード

for row2 in csv.reader(open('test2.csv','r'),delimiter = '\t'):
	for row1 in csv.reader(open('test.csv','r'),delimiter = '\t'):
		if( row2 != row1):
			print(row1)

試したこと

解決方法を調べたのですが，良い方法が見つかりませんでした．

補足情報（FW/ツールのバージョンなど）

Python3.7.1

Answer 1

前回の回答者です。
＞回答ありがとうございます．
＞これを実行してみたのですが，ファイルAの文字列が全て出力されました
こちらで確認したファイルの内容です。
test.csv
山田 太郎 漢字 1
梅田 東京 花 2
東

test2.csv
山田 太郎 漢字 1
大垣 東京 花 2

実行結果
梅田
東

上記のような結果が求める結果ではないのでしょうか？

Comments

[退会済みユーザー]

はい，このような結果を求めています．

[tatsu99]

実際に実行した結果がそのようになっています。
念のため確認ですが、各項目はタブで区切られている前提で間違いないでしょうか。
test.csvの1行目は
山田<tab>太郎<tab>漢字<tab>1<改行>
になっている前提です。<tab>は1文字のタブ(\t)で、<改行>は改行文字です。
僕<tab>は<tab>小学生<tab>です＜改行＞になっていますか。
提示例をみると
僕□は□小学生□です
のように見えます。□は１つの全角の空白です。

[退会済みユーザー]

<tab>で違うセルに移るのですがそれでタブで区切られていることになっていますかね？

[tatsu99]

判りません。エディタで作成したのか、excelで作成したのかもわからないので、回答できません。
windows前提になりますが
そのファイルをタブがタブとして明確に表示できるエディタ（秀丸、サクラエディタ等）でそのCSVファイルを表示して内容を確認してください。（メモ帳ではタブと空白の区別がつきません）

[退会済みユーザー]

すみません，プログラム上でファイルを生成するのですが，その時にカンマ区切りで保存されていたことが分かりました

[tatsu99]

では、データは、
山田,太郎,漢字,1
のようになっているということで間違いないでしょうか。
そうであれば、デリミタの指定を
reader = csv.reader(fileB,delimiter=',')
reader = csv.reader(fileA,delimiter=',')
に変えてください。

[退会済みユーザー]

ありがとうございます！
望んでいたような結果になりました．
何から何まで教えていただき大変ご迷惑をおかけしました．ありがとうございました．

Answer 2

1つのcsvファイルA(test.csv)に「僕」という文字のあるセルがあると仮定して，もう1つのcsvファイルB(test2.csv)に「僕」という文字がないセルがあった時にファイルAの「僕」という文字を抽出します。
各セルはタブで区切られている前提です。

import  csv
dictB = {}
with open('test2.csv') as fileB:
    reader = csv.reader(fileB,delimiter='\t')
    for row in reader:
        for sel in row:
            dictB[sel] = True
with open('test.csv') as fileA:
    reader = csv.reader(fileA,delimiter='\t')
    for row in reader:
        for sel in row:
            if sel not in dictB:
                print(sel)

Comments

[退会済みユーザー]

回答ありがとうございます．
これを実行してみたのですが，ファイルAの文字列が全て出力されました

testとtest2を逆にして実行したら一致する文字列のみが出力されました

[退会済みユーザー]

と思ったのですが，testとtest2を逆にして実行してみたところファイルBの文字列のみが全て出力されました...

[tatsu99]

何か、あなたが期待するものと、こちらでの解釈に齟齬があるのかも知れません。あなたがテストされたtest.csvとtest2.csvの内容、及び期待する結果を提示していただければ幸いです。

[退会済みユーザー]

test.csv
僕　は　小学生　です

test2.csv
僕　は　小学生　だよ

という場合”です”が出力されてほしいです

Answer 3

https://wandbox.org/permlink/nw6Z0M2UchKxZtIB

同じ場所のセルの値が同じでないものを出したいのか、同じ値のセルがないものを出したいのかわかりませんでしたが、とりあえず書いたのでさらしておく。

元のコードはセルではなく行を比べてませんか？

Comments

[退会済みユーザー]

同じ値のセルがないものを出したかったです．分かり辛くて申し訳ございません．
回答ありがとうございます．
実行してみたのですが，’人間’という値を出した時に｛'人'，'間'｝という風になるのですがこれを{'人間'}と出力するにはどうしたらよいのでしょうか？

Answer 4

外部ライブラリを使ってよいのであれば、
pandasでこんな感じで書けます。

test.csv

a,b,c
d,e,f
g,h,i

tset2.csv

a,b,c
d,x,f
g,h,i

test.py

import pandas as pd
df1 = pd.read_csv('test.csv', header=None)
df2 = pd.read_csv('test2.csv', header=None)
res = df1.where(df1.ne(df2)).values
#[[nan nan nan]
# [nan 'e' nan]
# [nan nan nan]]

# 文字列以外を消す
res2 = [d for d in res.reshape(-1) if isinstance(d, str)]
#['e']

Comments

[退会済みユーザー]

回答ありがとうございます．試してみます．

Answer 5

１ファイル内で複数の同じセル値を１つとして扱ってよいなら集合演算すると楽です。

# 指定TSVファイルから全セルを集合として読込
# 複数の同じセル値は１つにまとまることに注意
import csv
def read_set(path):
    st = set()
    with open( path,'r') as f:
        r = csv.reader(f,delimiter='\t')
        for line in r:
            for cell in line:
                st.add(cell)
    return st

#s1 = read_set('test1.csv')
#s2 = read_set('test2.csv')

# 読み込んだテストデータ
s1 = set(['あ','い','う','え'])
s2 = set(['い','う','え','お'])

# 並び順は順不同になる
print((s1|s2)-(s1&s2)) # {'お', 'あ'} 互いに存在しない要素の和集合
print(s1-s2)           # {'あ'}       s2に存在しないs1要素の集合

# 複数の同じセルを１つにまとめたくない場合
l1 = ['あ','い','う','え','あ'] # リストで保持。読込コードは省略
s2 = set(['い','う','え','お']) # こちら側は集合でよい

for c in l1:
    if not c in s2:
        print(c)
"""
あ
あ
"""

Comments

[退会済みユーザー]

ありがとうございます．
s1とs2を比較して，一致しないs1のセル（上記のコードの場合だと'あ'）を表示したいという趣旨の質問でした．分かり辛くて申し訳ございません．
s1とs2を比較して，一致しないs1のセル（上記のコードの場合だと'あ'）を表示したい場合はどうしたらよいか伺ってもよろしいでしょうか？よろしくお願いいたします．

[can110]

回答修正しました。
目的の集合演算を考えるにはベン図を描くと理解しやすいです。

[退会済みユーザー]

ありがとうございます．何度も申し訳ないのですが，複数の同じセル値を1つとして扱ってはいけない場合は集合演算を考える方法では難しいのですか？

[can110]

はい。その場合はお手軽な集合演算は使えません。
少なくともtest1側セル値はリストで保持してループを回してtest2側に存在するかどうかチェックする必要があります。

[can110]

複数の同じセル値を1つとして扱ってはいけない場合のコードを追記しました。

[退会済みユーザー]

test1.csvをリストとして読み込むという認識で合っていますか？

[can110]

はい。あってます。

[退会済みユーザー]

ありがとうございます．can110様の回答を参考に試してみます．

Answer 6

第１段階：ファイルAからデータを読み取り、「セル」に分解して表示するスクリプトを書く。
第２段階：それぞれのセルの文字列を所定の文字列（たとえば"俺君僕"）と比較して、「含まれていない」場合のみ内容を表示するよう、第１段階で作ったスクリプトを改変する。
第３段階：ファイルBからデータを読み取って適当な変数に格納し、第２段階で作った「所定の文字列」のかわりに利用するよう、スクリプトを改変する。

Comments

[退会済みユーザー]

ありがとうございます．
段階に分けて実践してみます．