1回のmallocで確保できるメモリの上限を上げたい

Question

前提・実現したいこと

プログラム内でc言語でmallocを用いてメモリを動的に確保する際，
メモリのサイズが大きくなりすぎるとメモリが確保できず，NULLが返ってきます．
メモリが小さい場合にはもちろん正常に確保できます．
メモリのサイズが極めて大きい場合でも正常にメモリを確保できる方法を教えてください．

該当のソースコード

if ((p = (double *)malloc(rows * sizeof(double))) == NULL) {
    fprintf(stderr, "\n Memory can not be allocated (%ld byte).\n", rows * sizeof(double));
    exit(EXIT_FAILURE);
}

結果

Memory can not be allocated (1522831928 byte)

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[Zuishin]

情報を小出しにせず最初から考えられるだけ書いた方が解決が早いと思います。
開発 OS とバージョン、実行 OS とバージョン、開発ツールとバージョンとコマンドラインオプション、rows の型と値などです。

[退会済みユーザー]

回答ありがとうございます．
新しく質問しなおしてみることにします．

[Zuishin]

質問は編集できますのでこの質問に追記してください。

[otn]

↑質問は編集できます。

[Zuishin]

もし間に合わず新しく立ててしまったなら、新しい方を削除依頼してください。PC 版の右下に薄いゴミ箱のアイコンがあるはずです。

Answer 1

環境が書いていないので判りませんが、もし32bit用のexeであれば、どうあがいても使用できるメモリ上限は2GB程度です（実際には他にも利用されるので動的に確保できる量はそれ以下になります）。

64bit用のEXEであれば理論上の上限は8Tbytesぐらいまでいけるそうなので（もちろんそんなにメモリを積んでいる環境は現実的ではないので上限はもっと少ないです）、そちらでの開発を検討してください。

質問の回答としては相応しくないかもしれませんが、少ないメモリ量で大量のデータを処理する方法を検討した方が良いと思います。
（HDDなどの大容量ストレージを使って少しずつ処理するなど）

---

追記：
自分の環境でもやってみましたが問題なさそうです。
Win10+64bit（メモリ32GB搭載）

#include "stdafx.h"
#include <Windows.h>

int main() {
    double *p = NULL;
	int rows = 190353991;
	//printf("%dbit exe\n", sizeof(void *) * 8);
	printf("malloc %ld bytes\n", rows * sizeof(double));
	if ((p = (double *)malloc(rows * sizeof(double))) == NULL) {
		fprintf(stderr, "\n Memory can not be allocated (%ld byte).\n", rows * sizeof(double));
		exit(EXIT_FAILURE);
	}

    return 0;
}

Comments

[退会済みユーザー]

回答ありがとうございます．

64bit用のexeなので，32bitの制限ということはないと思います．
64bitの環境でメモリは十分にあるのですが，メモリが確保できない状況です．

[takabosoft]

本当に64bitのexeで動いているかも確認してもらったほうがいいですね。printf("%dbit exe\n", sizeof(void *) * 8);などで。

[takabosoft]

結果が気になるのに退会ですか・・・

Answer 2

物理的にメモリーが足りないのではないでしょうか？
プログラムを起動する直前のメモリ使用状況はどうでしょうか？
Linuxなら、freeコマンドの結果。Windowsならパフォーマンスモニターの状況。

Comments

[退会済みユーザー]

回答ありがとうございます．

メモリは10GB以上空きがあるのでメモリが足りないということはないと思います．
書き忘れていましたが，64bitのexeを作っているので，32bitの制限ということでもないと思います．

[cateye]

>メモリは10GB以上・・・・メモリが有ってもOSは１プロセスに割り当てられるメモリサイズの上限を持っています。したがって、その数値を超えることは出来ません。（Winならレジストリあたりでいじくれるともいますが?自己責任で・・・）

Answer 3

私の環境では問題なく動作しました。

#include <stdio.h>
#include <stdlib.h>

int main() {
  int rows = 190353991;
  double* p;

  if ((p = (double *)malloc(rows * sizeof(double))) == NULL) {
    fprintf(stderr, "\n Memory can not be allocated (%ld byte).\n", rows * sizeof(double));
    exit(EXIT_FAILURE);
  }

  return 0;
}

$ gcc -o a a.c
$ ./a
$ echo $?
0

OS, 処理系により対応方法が変わると思いますので、一通り記載をお願いします。