質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.51%

  • C

    4542questions

    C言語は、1972年にAT&Tベル研究所の、デニス・リッチーが主体となって作成したプログラミング言語です。 B言語の後継言語として開発されたことからC言語と命名。そのため、表記法などはB言語やALGOLに近いとされています。 Cの拡張版であるC++言語とともに、現在世界中でもっとも普及されているプログラミング言語です。

  • C++

    4445questions

    C++はC言語をもとにしてつくられた最もよく使われるマルチパラダイムプログラミング言語の1つです。オブジェクト指向、ジェネリック、命令型など広く対応しており、多目的に使用されています。

  • Linux

    4444questions

    Linuxは、Unixをベースにして開発されたオペレーティングシステムです。日本では「リナックス」と呼ばれています。 主にWebサーバやDNSサーバ、イントラネットなどのサーバ用OSとして利用されています。 上位500のスーパーコンピュータの90%以上はLinuxを使用しています。 携帯端末用のプラットフォームAndroidは、Linuxカーネル上に構築されています。

  • Ubuntu

    1810questions

    Ubuntuは、Debian GNU/Linuxを基盤としたフリーのオペレーティングシステムです。

  • OS

    239questions

    OS(オペレーティングシステム)は、システムソフトウェアの一種であり、一般的に、ハードウェアを直接的に管理・操作する最も中心的な機能を有するソフトウェアがオペレーティングシステムとして呼ばれます。

File size limit exceeded (Core Dumped) の解決方法(linux)

受付中

回答 2

投稿 編集

  • 評価
  • クリップ 5
  • VIEW 296

bayashiP

score 2

C++で、あるバイナリファイルを読み込み、内容を変更して別のバイナリファイルへ出力するプログラムを作っています。
しかしファイルを書き出す際に、"File Size Limit Exceeded (Core Dumped)" というエラーメッセージが出てきてしまいます。(読み込みは問題なし)
入出力ファイルのサイズは、どちらも259MB程度です。

エラーメッセージなどで調べてみましたが原因・解決方法が分からず困っています。
アドバイスをいただけないでしょうか?

環境

OS: ubuntu 12.04 LTS (64bit)
コンパイラ: g++ 5.4.1

該当のソースコード

ファイル出力部分のコードです。
どうも fwrite のラインでエラーが起きているようです。
念のため sizeof(EvalParameters) を標準出力で確認して見たのですが、およそ259MBとなっていました。

void WriteParametersToBinary(const char* file_name){
  std::FILE* fp = std::fopen(file_name, "wb");
  if (fp == nullptr) {
    std::printf("Failed to open %s.\n", file_name);
    return;
  }

  //test
  //cout << "Size of EvalParameters: " << sizeof(EvalParameters) << endl;

  std::fwrite( params.get(), sizeof(EvalParameters), 1, fp);
  std::fclose(fp);
}

2019/5/12 追記 
今更なのですが、クラスを含んだ構造体を fwrite 関数で読み書きするのは、大丈夫なのでしょうか?
EvalParametersは構造体なのですが、メンバに自作クラスを含んでいます。
それがエラーの原因になっている可能性はありますか?
(fread による読み込みでは、正しく値を読み込めていました。また下にある通り、macOSでは読み書き共にエラーは起こりませんでした。)


試したこと

  • OSのファイルサイズ上限に引っかかっているのかと思い、ulimitコマンドで確認して見た所、以下のような設定になっていました。
> ulimit -Sa
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 127716
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 127716
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited
> ulimit -Ha
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 127716
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 4096
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) unlimited
cpu time               (seconds, -t) unlimited
max user processes              (-u) 127716
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

(OSについてはあまり詳しくないのですが、この file size の数字が、プログラムの扱えるファイルサイズ上限を決めているということで良いのでしょうか?)

  • 同じプログラムを macOS (ver. 10.13.2 , 64bit), 上でコンパイル・実行したところ、特にエラーもなく実行できました。

 

以上です。
足りない情報、試すべき事がありましたら教えていただけますと幸いです。
よろしくお願いします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • bayashiP

    2019/05/03 03:14

    ありがとうございます。確認しました。
    私の場合あまり大きいプログラムではないので、ログはせいぜい数十行程度になります。
    実行時にログファイルの内容はクリアされるので、前回の実行分が溜まっていくということもないと思います。

    キャンセル

  • yohhoy

    2019/05/04 21:58

    sizeof(EvalParameters) == 259MB == 271581184 または 259000000 という意味でしょうか?通常では考え難い構造体サイズですが...

    キャンセル

  • bayashiP

    2019/05/04 22:03

    はい、そうです。
    サイズの大きい多次元配列をいくつも含んでいるので・・・

    キャンセル

回答 2

0

ulimit -Sf と ulimit -Hf どちらも出力は unlimited ですか?

2019/05/03 追記
prlimit コマンドでも、ファイルサイズは無制限になっていますか?
また、次の簡単なプログラムを ./a.out 256 ./a.out 260 のようにして動かした場合、やはり259MBあたりで File size exceeded エラーが出ますでしょうか。

#include <cstdio>
#include <string>

int main(int argc, char* argv[])
{
    size_t size = std::stoul(argv[1]) * 1024 * 1024;
    char* data = new char[size];
    std::FILE* rfp = std::fopen("/dev/urandom", "r");
    std::fread(data, size, 1, rfp);
    std::fclose(rfp);
    std::FILE* wfp = std::fopen("test.data", "w");
    std::fwrite(data, size, 1, wfp);
    std::fclose(wfp);
    delete[] data;
}

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/05/03 13:31

    はい、どちらもulimitedでした。
    念の為 ulimit -Ha , -Sa の結果を本文に載せておきました。

    キャンセル

  • 2019/05/04 12:11

    有難うございます。
    prlimitについては、Ubuntuのバージョンのせいかコマンドがありませんでした。

    また、頂いたプログラムを実行してみたところ、特にエラーは出ませんでした。
    試しに 1000, 2000, 3000 などを入力しても正常に動作しました。

    キャンセル

  • 2019/05/04 12:40

    そうすると、ファイルサイズの制限は ulimit の出力どおり無制限と考えてよさそうです。
    params の型と params.get() が何を返すか伺ってもよろしいでしょうか。

    キャンセル

  • 2019/05/04 15:15

    paramsの定義は、
    std::unique_ptr<EvalParameters> params;
    となっています。(EvalParametersはユーザ定義構造体)

    なので params.get() はパラメータを保持している EvalParameters型変数へのポインタを返しています。

    キャンセル

  • 2019/05/04 15:48

    ますます謎ですね。
    ファイルを書き出す先ですが、問題のプログラムと、テスト用のと、どちらも同じところにファイルを書いていますか?

    キャンセル

  • 2019/05/04 21:40

    テスト用のとは、上にある、入力されたサイズのファイルを出力するプログラムのことでしょうか?
    そのプログラムでしたら、書き出しは別のファイルに行っています。

    キャンセル

  • 2019/05/04 22:12

    わかりにくくてすみません。最初に出されたプログラムを動かした時にファイルを書き出したディレクトリと、私が書いたプログラムを動かした時にファイルを書き出したディレクトリは同じでしょうか? ファイルは別でよいのですが、ファイルを書くのは同じディレクトリにしてみてください。
    同じディレクトリに書き出しても前者のプログラムではエラーになって、後者のプログラムではエラーにならないということだと、ちょっと理由が思いつかないです

    キャンセル

  • 2019/05/07 10:59

    返信が遅くなってすみません。
    同じディレクトリ内にファイルを出力するようにしてみましたが、それでもエラーは起きませんでした。

    キャンセル

  • 2019/05/14 00:09

    いろいろ考えていたのですが、bayashiP さんのプログラムがエラーになって、私が書いたプログラムがエラーにならないという違いが発生する理由が分かりません。力及ばす申し訳ないです。

    キャンセル

  • 2019/05/14 18:57

    いえいえ、とんでもないです。
    とても参考になりました。どうも有難うございます。

    キャンセル

  • 2019/05/14 19:24

    ちなみに、12日に本文に少し追記をしたのですが、そちらはお読み頂いていますでしょうか?
    クラスを含んだ構造体でも、fwriteは使って大丈夫なのか?という部分です。
    もしご存知でしたら教えていただけますと幸いです。

    キャンセル

  • 2019/05/14 20:42

    関係ないとは思いますが、"max locked memory"をunlimitedにしてもエラーになるか確認してもらえないですか?
    ubuntuのC++のprintfプログラムが(読み込みの方では細かく区切っているのに)書き込み要求を処理する際、1回のI/O要求のサイズだけメモリーをロックしていたらこれでエラーになる可能性があるので。

    キャンセル

  • 2019/05/14 21:02 編集

    cugelさんのプログラムで書いたファイル、本当に指定した大きさのファイルが出来上がっていますか?
    (asciiとして書き込みopenしている場合、0x00がくるとそこでeofになってしまうのでは?) → write openする際、bayashiPさんのオリジナルのように"w"ではなく"wb"指定にする

    キャンセル

  • 2019/05/15 14:42

    >sageさん
    有難うございます。

    >"max locked memory"をunlimitedにしてもエラーになるか確認してもらえないですか?
    実験してみたのですが、同じエラーが起きました。

    >cugelさんのプログラムで書いたファイル、本当に指定した大きさのファイルが出来上がっていますか?
    出力ファイルは、確かに指定したサイズになっていました。ご指摘いただいた通り "wb" モードでも試してみたのですが、エラーは出ませんでした。

    キャンセル

0

回答の内容が少し変わるので、別の回答にします。

今更なのですが、クラスを含んだ構造体を fwrite 関数で読み書きするのは、大丈夫なのでしょうか?
EvalParametersは構造体なのですが、メンバに自作クラスを含んでいます。
それがエラーの原因になっている可能性はありますか?

ポインタ変数を含んでいるとポインタの先の情報は失われますが、それ以外は特に問題ないはずです。エラーとは関係ないと思います。ただし、読み込んだ後でクラスのメンバ関数が問題なく使えたかはちょっと覚えていません。

気になるようでしたら、データをシリアライズして書き出すという手もあります。
こちらの質問への回答が参考になると思います。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

同じタグがついた質問を見る

  • C

    4542questions

    C言語は、1972年にAT&Tベル研究所の、デニス・リッチーが主体となって作成したプログラミング言語です。 B言語の後継言語として開発されたことからC言語と命名。そのため、表記法などはB言語やALGOLに近いとされています。 Cの拡張版であるC++言語とともに、現在世界中でもっとも普及されているプログラミング言語です。

  • C++

    4445questions

    C++はC言語をもとにしてつくられた最もよく使われるマルチパラダイムプログラミング言語の1つです。オブジェクト指向、ジェネリック、命令型など広く対応しており、多目的に使用されています。

  • Linux

    4444questions

    Linuxは、Unixをベースにして開発されたオペレーティングシステムです。日本では「リナックス」と呼ばれています。 主にWebサーバやDNSサーバ、イントラネットなどのサーバ用OSとして利用されています。 上位500のスーパーコンピュータの90%以上はLinuxを使用しています。 携帯端末用のプラットフォームAndroidは、Linuxカーネル上に構築されています。

  • Ubuntu

    1810questions

    Ubuntuは、Debian GNU/Linuxを基盤としたフリーのオペレーティングシステムです。

  • OS

    239questions

    OS(オペレーティングシステム)は、システムソフトウェアの一種であり、一般的に、ハードウェアを直接的に管理・操作する最も中心的な機能を有するソフトウェアがオペレーティングシステムとして呼ばれます。