Q&A
createfile.awk を開示してください。
sh のファイルから以下のような awk コマンドでテキストファイルを読み込んでいっています。
OS は MacOS です。
bash
1awk -v var=path1 -v var2=path2 -f dir/createfile.awk target.txt
target.txt は 2000 行ほどのテキストファイルです。
上記をおこなっている間に途中で
awk: hoge.yaml makes too many open files
というエラーが出てしまいます。
エラーで調べたところこちらなどが同様のもののようなので試してみてmaxfilesが524288になった事も確認しましたが同様の現象は出ているようです。
全く同じスクリプトで別の Mac で実行した際には問題無いようで、自分が使っている OS が High Sierra で少々古いのも関係しているのかなと思っているのですがどうなのでしょうか？
こちら原因お分かりになる方いましたらご教示いただけますと幸いです。
createfile.awk という名前から、file close の処理が抜けているのではないでしょうか。
Too many open files error while running awk command
https://stackoverflow.com/questions/32878146
コメントありがとうございます。
awk の追記いたしました。
そちらの stackoverflow もみたのですが、awk の記述に慣れていない事もあり,
これでいくとどこに close が必要なのかわからずでうまくいきませんでした。
以下の部分でクローズ処理が必要ではないでしょうか。ファイル(FILE_NAME)の削除処理が実行されていますが、ファイルディスクリプタは Awk プロセスが終了するまではオープンになっている可能性があります。
{
if ( $1 ~ /^@/ ) {
} else {
print $0 >> FILE_NAME
}
}
ありがとうございます！
そこでcloseしたところ処理が進みました。
しかしなぜ他のOSでは問題なく処理が通っていたのでしょうか？やはりバージョンの差ということでしょうか...？
macos には詳しくないので確実なことは分からないのですが、別プロセスからのファイル削除時にファイルディスクリプタを自動でクローズしているのかもしれません。(考えづらいことですが。。。)
dir/createfile.awk の中身を一旦書いた後に削除してしまっているので、意味不明の質問になっています。
再度、載せましょう。
コードを見てから回答を考えます。
回答1件
0
/^@HOGE@ / { のブロックの最後に close(HOGE_DIR "test.yaml")、
/^@HUGA@ / { のブロックの最後に close(HUGA_DIR "test.yaml")、
が必要かと思います。
投稿2023/02/02 03:03
総合スコア21929
ご回答ありがとうございます。
試してはみましたがやはり同様のエラーが出ているようです。。
しかし処理はcloseの処理を入れる前と比べて少し進んだようです。target.txtの発生箇所が少し先になっていました。
あなたの回答
tips
プレビュー
