cpコマンドで大量の画像をコピーするときのエラー'Argument list too long'の解決法

Question

大量の画像9万~100万をcpで下記のようにawsのs3とマウントしたディレクトリからtest_1.csvの中の画像(パス)を特定のディレクトリに移動しようとするとエラーになります

for i in $(cat test_1.csv); do cp $i ./test_img/brand_1/$i.jpg;done

-bash: /bin/cp: Argument list too long

linuxでこの量の画像を特定のディレクトリに移動させる方法はないでしょうか？

＊＊備考
これは質問のついでなので、知っていたらお願いします。
jupyter上でopencvとかでAWSのs3とマウントしたディレクトリから読み込みtfrecordに保存したいのですが、量が多すぎるので、まず早く読み込むためには、保存したい画像を特定のディレクトリにコピーしてから読み込む方法しか思いつきませんでした。

s3とマウントした大量の画像を時間をかけずに読み込むには、このような方法しかないのでしょうか？

何か参考になるものがありましたら、教えていただけないでしょうか？

Answer 1

<test_1.csv xargs -i cp {} ./test_img/brand_1/{}.jpg

Comments

[trafalbad]

ありがとうございます！

Answer 2

どんなcsvなのか分かりませんが、以下でcsvを１行１ファイル（＝１項目）に変換したものをrsyncに読み込ませればOKと思います。

tr -s ',' '\n\r'

Comments

[trafalbad]

回答ありがとうございます。linuxは得意ではないのですが、以下のコマンドでできますでしょうか？
cat test_1.csv |tr -s ',' '\n\r' >path.txt

で一行にしたあと
for i in $(cat path.txt); do rsync -av --include=$i src/ dst ; done

[oikashinoa]

csvの中身を簡単に書いてみて下さい。もしかしたらtrコマンド　不要かも。

[trafalbad]

/home/ubuntu/s3img/[特定パス],
/home/ubuntu/s3img/[特定パス],
/home/ubuntu/s3img/[特定パス],
〜

とこんな感じで、画像のパスがカンマで区切って縦に並んでいます。
つくりかたはpythonでパスをリストに入れて、それをそのままcsvに保存しました

[oikashinoa]

CSVが１行に１パスだけ書かれているのであれば、以下のように変換すれば行けると思います。（カンマをブランクにする）
cat test_1.csv |tr -s ',' '' >path.txt
…python側が修正可能なら最後のカンマを無しで出力するように変更した方が安全です。

/home/ubuntu/s3img/[特定パス]
/home/ubuntu/s3img/[特定パス]
/home/ubuntu/s3img/[特定パス]

そのあとで、以下でpath.txt記載のファイルをdstフォルダにコピーします。
rsync -avc --files-from=path.txt dst

path.txtがフルパスで書かれているなら、カレントディレクトリ−はどこでもいいのかな。

テスト環境で何度か試してから本番に投入してくださいね。

[trafalbad]

とても参考になりました、ありがとうございます！

Answer 3

--files-fromを使って（ただしファイルフォーマットはCSVではなく、１行１ファイル）定義ファイル指定が可能です。rsyncは更新したファイルだけコピーとか出来るので検討してみて下さい。

rsyncでファイル指定して転送する方法(--files-fromオプション) - とりあえずphpとか

【 rsync 】コマンド（その1）――ファイルやディレクトリを同期する：Linux基本コマンドTips（82） - ＠IT

Answer 4

AWSでrsyncが使えるなら、問題解決するかもしれないです。
大量データコピーの時よく使ってます。

Comments

[trafalbad]

バケット内にある画像のパスが質問に書いたcsvファイルにあり、ec2 とs3 がマウントしてあるんですが、rsync だとコピーしたいディレクトリ内で以下のコマンドを実行すればよいでしょうか？

for i in $(cat test_1.csv); do rsync -av --include=$i src/ dst/;done