Q&A
ご回答が有難うございます。
ボトルネックがI/Oにある点について承知しました。
そうすると、tar.gzの出力先をSSDにすることで多少の向上が見られそうなので、
少し検討と検証をしてみたいと思います。
コマンドのについてもご教授有難うございます。参考にさせていただきます。
いずれにせよ何らかの方法でシリアルに処理したほうが早いということでしょうか。
###前提・実現したいこと
大きなサイズのファイル圧縮を高速化
###発生している問題・エラーメッセージ
数TBあるサイズのバイナリファイルをtarとgzipで圧縮し、退避しようとしています。
対象ファイルは複数あるため、時間効率を考えてtarコマンド(tar -zfc)をバックグラウンドで10プロセスほどで流していますが、
こうすると1プロセスあたりの処理量が極端に落ちます。
tar処理を理解していないため、どのようにしてメモリを使用しているのかが
分かりませんが、効率よく比較的高速に圧縮できる方法をご教授いただきたいです。
特にtarコマンドにこだわるつもりはないので、ほかにスマートな方法が
あればそちらを教えていただけると幸いです。
###試したこと
・pigzを利用しての圧縮
###補足情報(言語/FW/ツール等のバージョンなど)
・cpuの高騰は見られない
・メモリの使用率が跳ねる。swapはないがキャッシュは高い（vmstat）
回答4件
0
Linuxでは空きメモリがあるかぎり原則としてディスクキャッシュに割り当てられるので、これが増えても普通気にしなくていいです。今回のボトルネックはメモリではなくI/Oだと思われます (以上、回答投稿後に追記)。
- 大サイズのファイルを圧縮して保存
- できたファイルを他のマシンにコピー
- コピー先で展開
最後のはすぐには必要ないかもしれませんが、とにかくどのステップでも、新たなディスク領域への保存が行われます。おまけにディスク領域をNASで確保していたりすると、トラフィックも大変なことになります。
sshを使って退避先マシンに直接コピーすれば、途中のステップを省いて作業ディスク領域とディスクI/Oやトラフィックを節約できます。
$ tar cf - パス... | gzip -6 -c - | ssh ユーザ@退避先ホスト 'cat > ファイル'
これで、退避先ホストのファイルに圧縮されたアーカイブが直接コピーされます。
次のようにすれば、退避先で展開までできてしまいます。途中のアーカイブを保存するディスク領域とそのためのディスクI/Oも不要です。
投稿2016/10/15 23:46
編集2016/10/16 00:39
総合スコア4443
0
ベストアンサー
otnさんが仰るように、HDDの読み書き(特に書き込み)がボトルネックになっていると思われます。
SSDでもシーケンシャルリードライトでなければある程度の速度劣化があり、HDDの場合特に顕著に速度が落ち込みます。
バックグラウンドで10プロセス
1つずつ圧縮コマンドを実行すると、
人が見張らなければならないのでバックグラウンドを利用されたのかと思います。
コマンドA→BのようにAの終了を待ってBを実行させる手段は色々とあります。
例えばBashなら各コマンドはecho hoge && echo pikoのように&&で括ると、
1つ目のコマンドecho hogeの実行が正常終了したことを確認して2つ目のコマンドecho pikoが実行されます。
lsやfindコマンドからパイプでxargsコマンドにバトンタッチしても良いでしょうし、
シンプルにls > hoge.shのようなコマンドでファイルに書き出してから、テキストエディタの矩形洗濯を使って10個単位のtarコマンドに変更して実行するという手段もあります。
投稿2016/10/15 18:11
総合スコア21391
ハードディスクはレコードと似た仕組みです。
磁気の円盤を高速回転(約秒間100回転)させ、読み書きできる魔法の針(磁気ヘッド)を使って読み書きしています。
多数のプロセスが同時に書き込もうとすると、ヘッドの移動ばかりに時間が取られて書き込みに使う時間が殆どなくなってしまいます。
http://www.ssd.tank.jp/sokudo.html
1プロセスはシーケンシャル、沢山のプロセスを同時に走らせるとランダム4Kまで効率が低下する…くらいの認識で読んでみてください。
流石にPCも馬鹿ではないので即ランダム4K相当になるようなことは無いですが、
読み書きが遅いと感じたらシリアルでの処理を検討してみる価値はあります。
0
メモリもですが、ディスクI/Oネックになるので、それぞれ物理的に別のディスクだと言うことでも無い限りは、シリアルに実行した方が早いのではないかと思います。
投稿2016/10/15 16:57
総合スコア86277
ご回答有難うございます。
複数のHDDを束ねて、LVMで用途に応じて領域を切っているような環境になります。
ターゲットファイルとその圧縮先は別のボリュームにしています。
I/Oがボトルネックの可能性が高いとのことなので、
環境内のSSD領域を切ってシリアル処理である程度改善できないか、検証してみます。
0
数TBあるサイズのバイナリファイルをtarとgzipで圧縮し、退避しようとしています。
対象ファイルは複数あるため、時間効率を考えてtarコマンド(tar -zfc)をバックグラウンドで10プロセスほどで流していますが、
a.bin, b.bin, c.bin => abc.tar.gz
が、やりたい事で合ってますでしょうか?
もし
a.bin => a.tar.gz
b.bin => b.tar.gz
c.bin => c.tar.gz
が、やりたい事であれば tar は不要です。
gzipだけでいいので、gzipだけにすれば少し早くなると思います。
投稿2016/10/16 03:23
総合スコア1728
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2016/10/17 00:19