File size limit exceeded (Core Dumped) の解決方法（linux)

Question

C++で、あるバイナリファイルを読み込み、内容を変更して別のバイナリファイルへ出力するプログラムを作っています。
しかしファイルを書き出す際に、"File Size Limit Exceeded (Core Dumped)" というエラーメッセージが出てきてしまいます。（読み込みは問題なし）
入出力ファイルのサイズは、どちらも259MB程度です。

エラーメッセージなどで調べてみましたが原因・解決方法が分からず困っています。
アドバイスをいただけないでしょうか？

環境

OS: ubuntu 12.04 LTS (64bit)
コンパイラ: g++ 5.4.1

該当のソースコード

ファイル出力部分のコードです。
どうも fwrite　のラインでエラーが起きているようです。
念のため sizeof(EvalParameters)　を標準出力で確認して見たのですが、およそ259MBとなっていました。

void WriteParametersToBinary(const char* file_name){
  std::FILE* fp = std::fopen(file_name, "wb");
  if (fp == nullptr) {
    std::printf("Failed to open %s.\n", file_name);
    return;
  }

  //test
  //cout << "Size of EvalParameters: " << sizeof(EvalParameters) << endl;

  std::fwrite( params.get(), sizeof(EvalParameters), 1, fp);
  std::fclose(fp);
}

---

2019/5/12　追記
今更なのですが、クラスを含んだ構造体を fwrite 関数で読み書きするのは、大丈夫なのでしょうか？
EvalParametersは構造体なのですが、メンバに自作クラスを含んでいます。
それがエラーの原因になっている可能性はありますか？
（fread による読み込みでは、正しく値を読み込めていました。また下にある通り、macOSでは読み書き共にエラーは起こりませんでした。）

---

試したこと

• OSのファイルサイズ上限に引っかかっているのかと思い、ulimitコマンドで確認して見た所、以下のような設定になっていました。

> ulimit -Sa
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 127716
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 127716
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

> ulimit -Ha
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 127716
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 4096
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) unlimited
cpu time               (seconds, -t) unlimited
max user processes              (-u) 127716
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

（OSについてはあまり詳しくないのですが、この file size の数字が、プログラムの扱えるファイルサイズ上限を決めているということで良いのでしょうか？）

• 同じプログラムを macOS (ver. 10.13.2 , 64bit),　上でコンパイル・実行したところ、特にエラーもなく実行できました。

以上です。
足りない情報、試すべき事がありましたら教えていただけますと幸いです。
よろしくお願いします。

Comments

[cateye]

"File Size Limit Exceeded"で検索かけると色々原因が有るようですが・・・

[bayashiP]

本文にも書きましたが、、、色々調べてもわからなかったので、ここに質問しました。
というのも、そもそもそういったサイトで書かれているのはファイルサイズが２GBを超えているのが原因のものがほとんどで、同じ対策をしてみても解消されませんでした。サイズが259MBでこのエラーが出るのはなぜでしょうか？

[cateye]

http://d.hatena.ne.jp/hyotko/20080307/1204816399　は確認しましたか？　ログファイルの容量でも出るようですが？

[bayashiP]

ありがとうございます。確認しました。
私の場合あまり大きいプログラムではないので、ログはせいぜい数十行程度になります。
実行時にログファイルの内容はクリアされるので、前回の実行分が溜まっていくということもないと思います。

[yohhoy]

sizeof(EvalParameters) == 259MB == 271581184 または 259000000 という意味でしょうか？通常では考え難い構造体サイズですが...

[bayashiP]

はい、そうです。
サイズの大きい多次元配列をいくつも含んでいるので・・・

Answer 1

解決しました。
原因は結局ファイルサイズ上限だったみたいです。
問題のプログラムは、Procmail→シェルスクリプト→そのプログラム　というように呼び出されているのですが、このシェルスクリプト内で ulimit　コマンドを試してみたところ、fsizeに上限が設定されていました。
結局なぜ直ったのかは分からないのですが、etc/postfix/main.cf　ファイルを、動作していたマシンと同じように書き直したところ、解決いたしました。

ご回答いただいた皆様、どうも有難うございました。

Answer 2

回答の内容が少し変わるので、別の回答にします。

今更なのですが、クラスを含んだ構造体を fwrite 関数で読み書きするのは、大丈夫なのでしょうか？
EvalParametersは構造体なのですが、メンバに自作クラスを含んでいます。
それがエラーの原因になっている可能性はありますか？

ポインタ変数を含んでいるとポインタの先の情報は失われますが、それ以外は特に問題ないはずです。エラーとは関係ないと思います。ただし、読み込んだ後でクラスのメンバ関数が問題なく使えたかはちょっと覚えていません。

気になるようでしたら、データをシリアライズして書き出すという手もあります。
こちらの質問への回答が参考になると思います。

Answer 3

ulimit -Sf と ulimit -Hf どちらも出力は unlimited ですか?

2019/05/03 追記
prlimit コマンドでも、ファイルサイズは無制限になっていますか?
また、次の簡単なプログラムを ./a.out 256 ./a.out 260 のようにして動かした場合、やはり259MBあたりで File size exceeded エラーが出ますでしょうか。

#include <cstdio>
#include <string>

int main(int argc, char* argv[])
{
    size_t size = std::stoul(argv[1]) * 1024 * 1024;
    char* data = new char[size];
    std::FILE* rfp = std::fopen("/dev/urandom", "r");
    std::fread(data, size, 1, rfp);
    std::fclose(rfp);
    std::FILE* wfp = std::fopen("test.data", "w");
    std::fwrite(data, size, 1, wfp);
    std::fclose(wfp);
    delete[] data;
}

Comments

[bayashiP]

はい、どちらもulimitedでした。
念の為 ulimit -Ha , -Sa　の結果を本文に載せておきました。

[bayashiP]

有難うございます。
prlimitについては、Ubuntuのバージョンのせいかコマンドがありませんでした。

また、頂いたプログラムを実行してみたところ、特にエラーは出ませんでした。
試しに 1000, 2000, 3000　などを入力しても正常に動作しました。

[cugel]

そうすると、ファイルサイズの制限は ulimit の出力どおり無制限と考えてよさそうです。
params の型と params.get() が何を返すか伺ってもよろしいでしょうか。

[bayashiP]

paramsの定義は、
std::unique_ptr<EvalParameters> params;
となっています。(EvalParametersはユーザ定義構造体）

なので　params.get()　はパラメータを保持している EvalParameters型変数へのポインタを返しています。

[cugel]

ますます謎ですね。
ファイルを書き出す先ですが、問題のプログラムと、テスト用のと、どちらも同じところにファイルを書いていますか?

[bayashiP]

テスト用のとは、上にある、入力されたサイズのファイルを出力するプログラムのことでしょうか？
そのプログラムでしたら、書き出しは別のファイルに行っています。

[cugel]

わかりにくくてすみません。最初に出されたプログラムを動かした時にファイルを書き出したディレクトリと、私が書いたプログラムを動かした時にファイルを書き出したディレクトリは同じでしょうか? ファイルは別でよいのですが、ファイルを書くのは同じディレクトリにしてみてください。
同じディレクトリに書き出しても前者のプログラムではエラーになって、後者のプログラムではエラーにならないということだと、ちょっと理由が思いつかないです

[bayashiP]

返信が遅くなってすみません。
同じディレクトリ内にファイルを出力するようにしてみましたが、それでもエラーは起きませんでした。

[cugel]

いろいろ考えていたのですが、bayashiP さんのプログラムがエラーになって、私が書いたプログラムがエラーにならないという違いが発生する理由が分かりません。力及ばす申し訳ないです。

[bayashiP]

いえいえ、とんでもないです。
とても参考になりました。どうも有難うございます。

[bayashiP]

ちなみに、12日に本文に少し追記をしたのですが、そちらはお読み頂いていますでしょうか？
クラスを含んだ構造体でも、fwriteは使って大丈夫なのか？という部分です。
もしご存知でしたら教えていただけますと幸いです。

[sage]

関係ないとは思いますが、"max locked memory"をunlimitedにしてもエラーになるか確認してもらえないですか?
ubuntuのC++のprintfプログラムが(読み込みの方では細かく区切っているのに)書き込み要求を処理する際、1回のI/O要求のサイズだけメモリーをロックしていたらこれでエラーになる可能性があるので。

[sage]

cugelさんのプログラムで書いたファイル、本当に指定した大きさのファイルが出来上がっていますか?
(asciiとして書き込みopenしている場合、0x00がくるとそこでeofになってしまうのでは?) → write openする際、bayashiPさんのオリジナルのように"w"ではなく"wb"指定にする

[bayashiP]

>sageさん
有難うございます。

>"max locked memory"をunlimitedにしてもエラーになるか確認してもらえないですか?
実験してみたのですが、同じエラーが起きました。

>cugelさんのプログラムで書いたファイル、本当に指定した大きさのファイルが出来上がっていますか?
出力ファイルは、確かに指定したサイズになっていました。ご指摘いただいた通り "wb" モードでも試してみたのですが、エラーは出ませんでした。