C言語で動的メモリ確保を行う際，大体550MBを超えたあたりからreallocがエラーを吐く

Question

C言語で以下のようなコードを書いております。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <malloc.h>
#define malloc_usable_size(a) _msize(a)

/**
 * @param int c
 * @param char*[]
 * @return int
 */
int main (int c, char* param[]) {


    char * open_file_path;
    char* new_file_path;
    if (c >= 3) {
       open_file_path = param[1];
       new_file_path = param[2];
    } else {
        printf("You need to input three parameter from console.");
        exit(2);
    }
    int read_byte;
    int read_count = 1;
    int *ip = NULL;
    char* save = NULL;
    char* buffer = NULL;
    char* return_c = NULL;
    char* temp = NULL;
    FILE* fp = NULL;

    // ファイルの読み込みサイズは1MBに設定
    read_byte = sizeof(char) * 1000000;
    buffer = (char*) malloc (read_byte);
    if (buffer == NULL) {
        printf("This command failed to secure appropriate memory allocation.");
        exit(2);
    }
    fp = fopen(open_file_path, "rb");
    int i = 1; // ファイルサイズ
    int current_address = 0;
    int res;

    while(1) {
        // ファイルの読み込み
        res = fread(buffer, read_byte, read_count, fp);
        if (res >= read_count) {
            // ここで初めてメモリの動的確保
            if (i == 1) {
                // 初回のみ
                temp = (char*)malloc(read_byte * i);
                save = temp;
                printf("\r\n");
                printf("%d", read_byte * i);
                memmove(save + current_address, buffer, read_byte);
                // 現在のアドレスの位置を保持
                current_address = current_address + read_byte;
                printf("1");
            } else {
                temp = (char*)realloc((void*)save, read_byte * i);
                printf("2");
                if (temp != NULL) {
                    if (save == temp) {
                        printf("\r\n");
                        printf("Two addresses has same memory address.");
                        save = temp;

                    } else {
                        printf("\r\n");
                        printf("Two addresses has different memory address.");
                        save = temp;
                    }
                    printf("\r\n");
                    printf("%d", read_byte * i);
                    memmove(save + current_address, buffer, read_byte);
                    // 現在のアドレスの位置を保持
                    current_address = current_address + read_byte;
                } else {
                    printf("You cannot get memory you commanded.");
                    printf("%d", read_byte);
                    exit(2);
                }
            }
        } else {
            break;
        }
        i++;
    }
    fclose(fp);
    FILE* new_fp = NULL;
    new_fp = fopen(new_file_path, "wb+");
    fwrite(save, _msize(save), read_count, new_fp);
    fclose(new_fp);
    exit(1);
}

上記のコードは実行時の第一コマンドライン引数をコピーし，第二コマンドライン引数のファイル名を作成し
まるっと移す処理です。
実行したところファイル容量が大体550MBを超える動画ファイルなどのコピーを実行すると
途中でrealloc関数が必ずエラーになってしまいす。

このメモリ確保時のエラーについて回避する方法はないでしょうか？

Answer 1

OSは各ソフトウェアに対し、あまり大量の連続したメモリーは提供できません。

• rigayaの日記兼メモ帳 自動フィールドシフト 高速化版+13
• rigayaの日記兼メモ帳 自動フィールドシフト 高速化版 +16
• rigayaの日記兼メモ帳 自動フィールドシフト 高速化版 +17

もちろんChironianさんがすでに指摘しているように動画をまるまるメモリーにロードするとかいう暴挙は慎まれるべきですが、そこまで行かずとも、大量の連続したメモリーは空き容量があっても確保に失敗することを念頭においてください。空き容量があるかと確保できるかは別問題です。

つまりC++でいうならstd::dequeのようなデータ構造(小規模なメモリー空間へのポインタ配列)をつかうべきです。

Answer 2

こんにちは。

動画ファイル等をコピーするのに、それを一度全てメモリへ読み込むのは止めるべきと思います。メモリが安い現在でも贅沢すぎるメモリの使い方ではないでしょうか?

ファイルI/OはHDDのアクセス単位に丸めた方が多少なりと効率が良いです。512バイトの2のべき乗倍のどこかが適切なサイズですので1024*1024バイト単位くらいで読み出して書き込みすれば良いと思います。

Comments

[退会済みユーザー]

確かに，ふと思って常用しているPHPで同様のファイルのコピーを行ってみたところ，
断続的にファイル容量が増えていったので，Chironianさんのおっしゃる通り適度な容量で追記していく方がいいのですね・・・。
てっきりCはなんでもできるという幻想持っていたので何の躊躇もなくreallocしていました。。。