質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
bash

bash(Bourne-again-Shell)は sh(Bourne Shell)のインプリメンテーションに様々な機能が追加されたシェルです。LinuxやMac OS XではBashはデフォルトで導入されています。

MacOS(OSX)

MacOSとは、Appleの開発していたGUI(グラフィカルユーザーインターフェース)を採用したオペレーションシステム(OS)です。Macintoshと共に、市場に出てGUIの普及に大きく貢献しました。

Q&A

解決済

1回答

1605閲覧

bashで大きいディレクトリの差分を調べたい

SATSUKI.

総合スコア21

bash

bash(Bourne-again-Shell)は sh(Bourne Shell)のインプリメンテーションに様々な機能が追加されたシェルです。LinuxやMac OS XではBashはデフォルトで導入されています。

MacOS(OSX)

MacOSとは、Appleの開発していたGUI(グラフィカルユーザーインターフェース)を採用したオペレーションシステム(OS)です。Macintoshと共に、市場に出てGUIの普及に大きく貢献しました。

0グッド

0クリップ

投稿2020/01/03 02:40

編集2020/01/03 02:44

前提・実現したいこと

ふたつの巨大なディレクトリの差異を確認したいです。
ファイル内部の差分までとる必要はなく、ファイルのあるなしがわかれば問題ありません。

差分を確認する対象となるふたつのディレクトリはそれぞれ
サイズ:2GB
ファイル数:24000
サイズやファイル数に若干の差異はありますがだいたいこんな感じです。
サブディレクトリも大量にあるので再帰的に処理する必要があります。
(一つのディレクトリに大量のファイルを詰め込むのがあまり良くないということは理解しています。)

試したこと

diffコマンドで試みたが、エラーが出て途中で止まってしまう

bash

1diff -rq ~/dir1 /Volumes/nas/dir2 -x .DS_Store -x ._* -x ~$* > result.txt

: Resource temporarily unavailable

何かしらのリソースが足りないということは、一度に差分を取るファイル数が多すぎるのが原因かと思い、分割して実行(1000ファイルくらい)するようなスクリプトを書いたが同じエラーで止まってしまう

質問したいこと

上記のような2つのディレクトリの差分(片方だけに存在するファイル)を調べるにはどうしたら良いでしょうか?
私はdiffコマンドで試みましたが、別のコマンドでも構わないです。

よろしくお願いします。

補足情報(FW/ツールのバージョンなど)

MacOS
メモリ8GB
Core i5-6360U

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

ファイル名だけ比較するなら、findでリストを作ります。

Bash

1#!/bin/bash 2filelist(){ 3 cd $1 4 find . -type f ! -name .DS_Store ! -name '._*' ! -name '~$*' -print 5} 6diff -u <(filelist /Volumes/nas/dir2) <(filelist ~/dir1)

dir2の方がバックアップだと思うので、↑のように比較の順番を入れ替えたほうが、「増えたファイル」が実感と合います。

パイプになるので多分大丈夫だと思いますが、もしメモリ不足で実行できないようなら、ファイルにします。

Bash

1#!/bin/bash 2filelist(){ 3 cd $1 4 find . -type f ! -name .DS_Store ! -name '._*' ! -name '~$*' -print 5} 6filelist /Volumes/nas/dir2 > /tmp/dir2 7filelist ~/dir1 > /tmp/dir1 8diff -u /tmp/dir2 /tmp/dir1

投稿2020/01/03 03:17

編集2020/01/03 03:19
otn

総合スコア84421

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

SATSUKI.

2020/01/03 09:03

まずfindコマンドでディレクトリが内包するファイルのパスをすべて列挙し、それをdiffコマンドで比較することでファイルの存在の差異がわかるのですね。 ディレクトリの差分をファイルの差分に変換するという発想に感銘を受けました! ちなみに、一旦ファイルに出力する処理を挟まなくても問題なく実行できました。しかもめちゃ早い!私が試した方法はエラーが出るまでにも15分ほどかかっていましたが、教えていただいた方法は40秒くらいでした。 とても勉強になりました。ありがとうございます。
otn

2020/01/03 10:44

diff だとファイルの中身を読みますので、ファイル名だけの比較に比べると遅いです。
SATSUKI.

2020/01/04 00:32

-qオプションを付けても内部的には中身を読む処理が走ってしまうんですね。なるほど!ありがとうございます。
otn

2020/01/04 02:07

コンペアは行われますよ。 -qだと、不一致点が1つ見つかった段階で終わるでしょうけど。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問