大量データのrsync同期で処理時間を早くする方法について

Question

大量データのrsync同期で処理時間を早くする方法について

初めての質問となります。
不足がありましたらご指摘お願いいたします。

現在、数TBのデータを保管しているディレクトリを一括で別サーバのディレクトリへrsyncで定期的に同期しています。
同期は更新分のみを同期しています。
（データ一つ一つのサイズは小さいです）

普段、この同期処理に数時間かかっております。
rsyncのログを確認したところ、差分チェックに時間を要しており、更新分の同期処理はそれほど時間がかかっていませんでした。
この処理を短く出来ないか考えています。

現在検討している方法としては、同期するデータを種類別にディレクトリを分け、
rsyncの同期を分けたディレクトリごと行うことを検討しています。
（並列でrsyncを実行させることで処理時間を短縮）

他にもっと良い案が無いか意見を伺いたいです。
よろしくお願いします。

※追記※
ご指摘いただいたので、rsyncで付与しているオプションを記載します。
オプションは「-avu」を付与しています。

Comments

[yambejp]

> 同期は更新分のみを同期しています。

どういったオプション設定なのでしょうか？

[melian]

参考情報として、GNU Parallel(https://www.gnu.org/software/parallel/) という複数のプロセスを並列実行するソフトウェアがあるのですが、そのドキュメントに rsync を並列実行する例が記載されています。

EXAMPLE: Run rsync
https://www.gnu.org/software/parallel/niceload.html#example-run-rsync

Answer 1

yambejp様
＞どういったオプション設定なのでしょうか？
オプションは「-avu」を付与しています。
「u」オプションによって更新分のみが同期される設定です。

melian様
参考情報ありがとうございます。
内容確認させていただきます。