linuxサーバ 大量のデータをコピーしたい

Question

linux(centos7)環境で、サーバ内で大量のデータ(数十TB)をコピーしようとしております。

・やりたいこと
同一サーバ内で、データのコピーがしたい
※disk(ストレージ)は別製品。

イメージ(例)
/tmp/aaa/bbb/ccc配下にあるデータを/tmp/aaa/bbb/ddd配下にコピー

/tmp/aaa/bbb/ccc配下は、下記のようなイメージで、数字のディレクトリがあるイメージです。
/tmp/aaa/bbb/ccc/10000
/tmp/aaa/bbb/ccc/10001
/tmp/aaa/bbb/ccc/10002
※1000xは、ディレクトリ名

cp -vrpa /tmp/aaa/bbb/ccc/* /tmp/aaa/bbb/ddd/* だと、Argmentエラーやサーバのメモリに負荷がかかってしまい、正常に完了しないなどの問題が起こりそうなため、分割してコピーしようと考えております。

※rsyncも考えておりますが負荷が凄そうなのと、分割してコピーができなそうなため保留にしております。

一旦テストで、cpで正規表現を使って、100-199のものをコピーできるか検証しております。

cp -vrpa /tmp/aaa/bbb/ccc/1[0-9][0-9]/* /tmp/aaa/bbb/ddd/1[0-9][0-9]/

これだと意図したコピーにならずでして、、正規表現の問題なのかうまくできずです、、
何か良い方法をアドバイス頂けますと幸いです。
※rsyncでも分割コピーができるのであればそちらでも問題ありません。

Comments

[hentaiman]

分割優先なのか負荷対策優先なのか分からないけど、分割に特に言及しているから分割優先ですかね？

[yukky1201]

cp -vrpa /tmp/aaa/bbb/ccc/10000/* /tmp/aaa/bbb/ddd/10000/*
cp -vrpa /tmp/aaa/bbb/ccc/10001/* /tmp/aaa/bbb/ddd/10001/*
cp -vrpa /tmp/aaa/bbb/ccc/10002/* /tmp/aaa/bbb/ddd/10002/*
と順番に実行するのではいけないのでしょうか。

[ruby5140]

分割で実行しようとしているのは、負荷対策のために分割で実施しようとしております。

コピー元のデータが多すぎて、、1個1個順番に指定していると厳しそうでして、、

cp -vrpa /tmp/aaa/bbb/ccc/10000/* /tmp/aaa/bbb/ddd/10000/*
cp -vrpa /tmp/aaa/bbb/ccc/10001/* /tmp/aaa/bbb/ddd/10001/*

なので、正規表現なのかで、複数選択してcpできないか色々試しておりました。。

[hentaiman]

じゃあrsyncで良いと思いますが、ローカルrsyncで掛かる負荷程度でリスクを懸念するとはスペックはどの程度なんでしょう？

Answer 1

rsyncを使うべき状況ではないでしょうか。
rsync 負荷軽減でググってみるといいと思います。たとえば
HDD負荷軽減のために cp, mv コマンドの代わりに rsync コマンド使う | レンタルサーバー・自宅サーバー設定・構築のヒント
には、比較実験の結果が書かれていて、適切なオプション設定により、所要時間と引き換えにcpよりも負荷を軽くできることが書かれています。

Answer 2

１ファイル何Gもあるような状況じゃなければrsyncが楽ですね

Answer 3

これだと意図したコピーにならずでして、、

echo cp -vrpa /tmp/aaa/bbb/ccc/1[0-9][0-9]/* /tmp/aaa/bbb/ddd/1[0-9][0-9]/
してみてください。それが実行されるコマンドラインです。
パス名を複数指定した場合は、最後の1つ以外は「コピー元」と判断されます。

rsyncじゃなくて、ゆっくりコピーしたい（例えば、1ファイルコピーしたら0.1秒待つとか？）ということであれば、findコマンドなどでコピー対象のファイル一覧を作って、それを1行ずつ読みながらコピーするスクリプトを書けば良いかと。