質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.49%

  • Linux

    4516questions

    Linuxは、Unixをベースにして開発されたオペレーティングシステムです。日本では「リナックス」と呼ばれています。 主にWebサーバやDNSサーバ、イントラネットなどのサーバ用OSとして利用されています。 上位500のスーパーコンピュータの90%以上はLinuxを使用しています。 携帯端末用のプラットフォームAndroidは、Linuxカーネル上に構築されています。

  • CentOS

    3198questions

    CentOSは、主にRed Hat Enterprise Linux(RHEL)をベースにした、フリーのソフトウェアオペレーティングシステムです。

  • シェルスクリプト

    163questions

大量ファイルのzip圧縮方法

解決済

回答 3

投稿

  • 評価
  • クリップ 0
  • VIEW 1,632

kazunii_ac

score 13

下記のような感じでエラーが出ます。
解決方法を教えてください。

実行コマンド:
/usr/bin/find /home/user/files/*.xlsx -mtime -1 -type f -print0 | xargs -0 zip -j -0 /home/user/files/20180324.zip

返ってくるエラー:
bash: /usr/bin/find: 引数リストが長すぎます

経緯:
もともと、単純なzipコマンドで大量のファイルを圧縮したかったのですが、「引数リストが長すぎます」エラーが出たため、
上記のfindコマンドを噛ます形にしておりました。

最近圧縮対象ファイル数が増えたためか、上記コマンドでも「引数リストが長すぎます」エラーが出るようになってしまいました。
圧縮対象ファイルは35000個ほどのExcelファイルです。
※phpexcelで、centos上で生成したものです。

解決方法がわかる方、お教え頂けないでしょうか。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 3

checkベストアンサー

+2

こんな漢字で、

$ /usr/bin/find /home/user/files -name '*.xlsx' -mtime -1 -type f -print0 | xargs -0 zip -j -0 /home/user/files/20180324.zip

追記

/usr/bin/find /home/user/files/*.xlsx ...

これだとfindが実行される前にbashがファイル名を全て展開しようとするので問題のエラーが発生します。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/03/25 23:43

    漢字→感じさえなければ・w・

    キャンセル

  • 2018/03/26 12:21

    ありがとうごうざいます!!!解決したっぽいです!!
    対象データ量が多いせいかだいぶ時間がかかっておりまして、いま実行中なのですが、まだ結果を確認できていません。
    処理終了しましたらまたご連絡します!!!

    キャンセル

  • 2018/03/27 19:55

    バッチリ正常終了したことを確認できました。
    ありがとうございます~~!!!

    キャンセル

0

xargsを使えばできますよ

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/03/25 19:57

    ごめんなさい。xargs使ってましたね。回答後に気がつきました。後があるみたいなのでひっこみます。

    キャンセル

  • 2018/03/26 12:21

    コメントありがとうございます!
    xargs、ほぼ理解できてなくてコピペ君のまま作業してます。しっかり勉強しようと思いました。

    キャンセル

0

findをかますといっても、これではfindが仕事する前にシェルがワイルドカードを展開しようとするので、「引数リストが長すぎます」エラーへの対処としては意味がありません。
hichon氏が示しているように-name '*.xlsx'としてやれば展開なくfindに渡されるので、問題は発生しません。

また、下位ディレクトリの操作が必要ないならfindを使う意味はますますありません。シェルのforループを使うのが手軽でしょう。

for a in *.xlsx; do zip $a ; done

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/03/25 20:30

    これは、シェルのワイルドカード展開なので、同じ問題が発生する可能性があります。ディレクトリに移動してから実行するとディレクトリの分だけ短くなるので、大丈夫かも知れませんが、それならzip一発でも同じ。
    あと、xargs を使わないとファイル数だけzipを実行するので時間が掛かります。

    キャンセル

  • 2018/03/25 21:54

    for の時にもワイルドカード展開が行われるというご指摘と思いますが、私が実験してみた限りはそうはなりませんでした。

    キャンセル

  • 2018/03/25 21:59

    それと、ファイル数だけzipが実行されるのはxargsでも同じなのでは?

    キャンセル

  • 2018/03/25 23:18

    > 私が実験してみた限りはそうはなりませんでした。
    ほんとだ。
    set -x してみると*がクォートされてますね。
    失礼しました。

    > ファイル数だけzipが実行されるのはxargsでも同じなのでは?
    こっちは違います。
    システムの最大長もしくは指定した長さのコマンドライン長の範囲で、標準入力から読んだ行を横につなげます。

    キャンセル

  • 2018/03/25 23:33

    >xargs
    おおそれは知りませんでした。なかなか奥が深いですね。いつもxargs -i xxx {}みたいなのばかり使っているもので…。

    キャンセル

同じタグがついた質問を見る

  • Linux

    4516questions

    Linuxは、Unixをベースにして開発されたオペレーティングシステムです。日本では「リナックス」と呼ばれています。 主にWebサーバやDNSサーバ、イントラネットなどのサーバ用OSとして利用されています。 上位500のスーパーコンピュータの90%以上はLinuxを使用しています。 携帯端末用のプラットフォームAndroidは、Linuxカーネル上に構築されています。

  • CentOS

    3198questions

    CentOSは、主にRed Hat Enterprise Linux(RHEL)をベースにした、フリーのソフトウェアオペレーティングシステムです。

  • シェルスクリプト

    163questions