bashで大きいディレクトリの差分を調べたい

前提・実現したいこと

ふたつの巨大なディレクトリの差異を確認したいです。
ファイル内部の差分までとる必要はなく、ファイルのあるなしがわかれば問題ありません。

差分を確認する対象となるふたつのディレクトリはそれぞれ
サイズ：2GB
ファイル数：24000
サイズやファイル数に若干の差異はありますがだいたいこんな感じです。
サブディレクトリも大量にあるので再帰的に処理する必要があります。
(一つのディレクトリに大量のファイルを詰め込むのがあまり良くないということは理解しています。)

試したこと

diffコマンドで試みたが、エラーが出て途中で止まってしまう

bash
1diff -rq ~/dir1 /Volumes/nas/dir2 -x .DS_Store -x ._* -x ~$* > result.txt

: Resource temporarily unavailable

何かしらのリソースが足りないということは、一度に差分を取るファイル数が多すぎるのが原因かと思い、分割して実行(1000ファイルくらい)するようなスクリプトを書いたが同じエラーで止まってしまう

質問したいこと

上記のような２つのディレクトリの差分(片方だけに存在するファイル)を調べるにはどうしたら良いでしょうか？
私はdiffコマンドで試みましたが、別のコマンドでも構わないです。

よろしくお願いします。

補足情報（FW/ツールのバージョンなど）

MacOS
メモリ8GB
Core i5-6360U

行動規範の内容に同意します

回答1件

ベストアンサー

ファイル名だけ比較するなら、findでリストを作ります。

Bash
1#!/bin/bash
2filelist(){
3    cd $1
4    find . -type f ! -name .DS_Store ! -name '._*' ! -name '~$*' -print
5}
6diff -u <(filelist /Volumes/nas/dir2) <(filelist ~/dir1)

dir2の方がバックアップだと思うので、↑のように比較の順番を入れ替えたほうが、「増えたファイル」が実感と合います。

パイプになるので多分大丈夫だと思いますが、もしメモリ不足で実行できないようなら、ファイルにします。

Bash
1#!/bin/bash
2filelist(){
3    cd $1
4    find . -type f ! -name .DS_Store ! -name '._*' ! -name '~$*' -print
5}
6filelist /Volumes/nas/dir2 > /tmp/dir2
7filelist ~/dir1 > /tmp/dir1
8diff -u /tmp/dir2 /tmp/dir1

投稿2020/01/03 03:17

編集2020/01/03 03:19

otn

総合スコア85893

SATSUKI.

2020/01/03 09:03

まずfindコマンドでディレクトリが内包するファイルのパスをすべて列挙し、それをdiffコマンドで比較することでファイルの存在の差異がわかるのですね。ディレクトリの差分をファイルの差分に変換するという発想に感銘を受けました！ちなみに、一旦ファイルに出力する処理を挟まなくても問題なく実行できました。しかもめちゃ早い！私が試した方法はエラーが出るまでにも15分ほどかかっていましたが、教えていただいた方法は40秒くらいでした。とても勉強になりました。ありがとうございます。