2147483647文字のテキストファイルを作成するコマンドを高速化させたい。

Question

シェルスクリプトで2147483647文字のテキストファイルを作成する手っ取り早い方法は無いでしょうか。

C言語を勉強している初心者です。テストケースに使用するため、2147483647文字のテキストファイルが必要です。

以下のシェルスクリプトを実行して作成しようとしましたが、実行時間がかなりかかってしまって、なかなか終わりません。

for i in {0..2147483647}; do; echo -n a; done; > test.txt

もっと手っ取り早く作成する方法はないでしょうか。
中の文字列は英数字でしたらなんでも問題ありません。

環境はmacです。

よろしくおねがいします。

Answer 1

yes 単体で改行なしは無理っぽいので、base64 にしてみました。手元の環境では5秒くらいでした。もし --wrap を受け付けないなら coreutils の base64 など入れてみてください。

yes a | base64 --wrap=0 | head -c 2147483647  > out

Answer 2

printf %2147483647s y > temp.txt

シンプルです。

Comments

[HirohisaKawase]

編集が効かないためコメントで訂正します。上記ではyの後が空白になります。

もし、y（もしくは特定の文字）で埋め尽くしたいなら

printf %2147483647s |tr " " "y" > temp.txt

空白でもよいのであれば

printf %2147483647s > temp.txt

Answer 3

私の環境では2147483647回のループでシェルスクリプトを実行しようとするとメモリアロケーションエラーが出てクラッシュしてしまったので、1000000に減らして実行し、さらにperlとawkで同じことをやってみました。

↓思い切りヤラカシていたので修正しました。結論は変わりません。

$ time (  for i in {0..1000000};  do echo -n a  ; done;)  >/dev/null

real	0m5.205s
user	0m4.810s
sys	0m0.390s

$ time awk 'BEGIN{for(i=0;i<=100000;i++){printf "a",i}}' >/dev/null

real	0m0.025s
user	0m0.023s
sys	0m0.002s

$ time perl -e 'for(0..1000000){print "a"} ' >/dev/null

real	0m0.080s
user	0m0.078s
sys	0m0.003s

どうやらawkが良さそうです。

Comments

[ikapy]

awkについては、「awk 'BEGIN{for(i=1000000;i>0;i--){printf "a"}}'」ですよね。他は検証してません。
こんなに速いわけないとおもいました。

[maisumakun]

このawkコードだと、1回もループせずに抜けてしまっていますね。

[KojiDoi]

失礼しました。コピペの際に全然関係ないところをコピーしてしまったというミスでした。修正しましたが、結論は変わりません。

[ikapy]

修正どうもです。
yesとawkの結果だけ載せておきます。2147483647はかったるいので100000000(100m)で実行しました。cygwinです。
$ time awk 'BEGIN{for(i=0;i<100000000;i++){printf "a"}}' > out_100m_awk

real 0m17.810s
user 0m17.750s
sys 0m0.062s

$ time yes a | base64 --wrap=0 | head -c 100000000 > out_100m_yes

real 0m0.362s
user 0m0.124s
sys 0m0.748s

[KojiDoi]

cygwinは何をやっても随分遅いとは思っていましたが、awkがここまで他と顕著な差がつくとは意外でした。
私が検証に使ったのは、さくらのレンサバ（CentOS 6.1）上のGnu Awk 3.1.4です。

ちなみにbase64を同じループ回数で試してみたら、こうなりました。

$ time yes a | base64 --wrap=0 | head -c 1000000 >/dev/null

real 0m0.013s
user 0m0.010s
sys 0m0.007s

確かにawkに勝っています。しかし、base64というツールの仕様がよく理解できてないんだけど、これ、出力の内容、文字数が他と違いますよね。

[ikapy]

base64は、表示不可文字を表示させる仕組み（一種の暗号化？）ですからね。
文字を増やすためにbase64はよいアイデアだと思いました。

Answer 4

ちょっと良いものがみつからなかったのですが参考に以下をあげておきます。

https://unix.stackexchange.com/a/269184
https://unix.stackexchange.com/a/101334

※yesが良さそうですが改行は不要ですよね