テキストファイルの違いを検出するにはどうすればいいでしょうか

Question

Linuxで2つのファイルを比較し、片方のファイルに存在しない行を検出したいです。

ファイル1
aaa
ddd
ccc

ファイル2
aaa
bbb
ccc
ddd
eee

結果
bbb
eee

この場合、どのようなコマンドを実行すればよいでしょうか？
awkなどを使うのでしょうか・・・よく解らないので教えてください。
よろしくお願いします。

Answer 1

commというコマンドを使います。

1.txtにだけ存在する行を表示する場合

comm -23 <(sort 1.txt) <(sort 2.txt)

2.txtにだけ存在する行を表示する場合

comm -13 <(sort 1.txt) <(sort 2.txt)

また、diffというコマンドを使えば二つのファイルにどういう
違いがあるのか、詳しく分かります。

diff 1.txt 2.txt

追記
commコマンドはファイルを事前にソートしておく必要がありました。
したがって、

comm -23 1.txt 2.txt

とするべきではありませんでしたので、訂正いたしました。

Answer 2

出力形式は多少違いますが、テキストファイルの差分を調べる場合はdiffコマンドを使うのが一般的です。

$ diff file1 file2

行番号など情報も一緒についてきて少しみにくいので、GUI で差分をみるツールなどもあります。

• Emacs ediff-files コマンド
• Meld : 差分ビューワー

テキストの差分をみるというのは、プログラミングしているとよくやるので、"差分 ビューワー linux" などで検索してみればもっといろいろ見つかると思います。

Comments

[dreadlocks]

yオプション
diff -y -W200 file1 file2 | grep >
diff -y -W200 file1 file2 | grep '<\|>'
diff -y -W200 file1 file2 | grep '|\|<\|>'
とかよく使うな．他は
vimdiff file1 file2
とか

Answer 3

awk でも sed でもなく、 ruby でスクリプトを書いてみました。

# -*- coding: utf-8 -*-                                                                                                 
# 1.txt, 2.txt を行単位で読み込んで、それぞれをソートし重複をとりのぞく。                                       
a = File.read('1.txt').lines.sort.uniq
b = File.read('2.txt').lines.sort.uniq

# a だけ または b だけに存在する要素を出力する。                                                                
puts (a | b) - (a & b)

1.txt, 2.txt を質問文の内容に編集してから実行すると、次の出力が得られます。

bbb
eee

無理矢理 コマンドライン 1 行で実行したいなら、次の様に指定できます。

ruby -e "a=File.read('1.txt').lines.sort.uniq;b=File.read('2.txt').lines.sort.uniq;puts (a | b) - (a & b)"

Answer 4

awkを使わずに

grep -f file1 file2

もしくは

grep -v -f file1 file2

とかで出来ますね。

難しく考えず、基本的なLinuxコマンドを覚えるほう方がいいかもしれませんよ。