メモリの動的な割り当てにおいて意図しない領域を参照する原因について

Question

###　前提
はじめまして
現在、大規模データ解析用のプログラムをC言語で書いています。以下のようなメモリの動的な割り当てを行い、データを読み込む部分を作成しました。
プログラムを実行するサーバー(128GBのメモリを搭載）は、以下のソースコードから生成されるプログラムが要求するメモリの容量の領域を確保できると判断しています。OSはCentOS6.5で、コンパイルなどはgccで行っています。

発生している問題・エラーメッセージ

以下のコードにあるようにmallocで別々に確保した領域にデータを書き込むように設計したのですが、datahe[i]のポインタが示す領域にデータを書き込んだにも関わらず、datage[i] (i>300000以降）のポインタが示す領域にデータが書き込まれ、//datage loading data//で示す部分で読み込まれたデータか書き換えられてしまいます。原因の究明を行っているのですが現在、解決に至っていません。　
//memory allocation// の部分にあるprintfで表示するようにしているerror1, 2, 3は表示されませんでした。
経験が浅いため、原因を突き止めるのに必要な情報が欠けている可能性があることご了承ください。また、情報が欠けている場合、ご教示いただけると幸いです。

該当のソースコード

int main()
{
//memory allocation//
char *datahe[500000];
int i;
int i2;
	for (i = 0; i < 500000; i++)
	{
	datahe[i] = NULL;
	datahe[i]=(char *)malloc(1000);
		if (datahe[i] == NULL)
		{
		printf("error1\n");
		}
	}

char *datage[300000];
	for (i = 0; i < 300000; i++)
	{
	datage[i] = NULL;
	datage[i]=(char *)malloc(1000);
		if (datage[i] == NULL)
		{
		printf("error2\n");
		}
	}
	for (i = 0; i < 300000; i++)
	{
		for (i2 = 0; i2 < 500000; i2++)
		{
			if(datage[i] == datahe[i2])
			{
			printf("error3\n");
			}
		}
	}

char listtad[30000][100] = {};
char extract[50][300] = {};
char *ret;

FILE *fpi;
FILE *fpi2;
FILE *fpo;
long ili = 0;
long ige = 0;
long ihe = 0;
long ilip = 0;
long j = 0;
long ip = 0;
long jp = 0;
long jp2 = 0;
int jug = 0;
int nr = 0;
// list loding data //
if ((fpi = fopen("./input_data/list_CC.txt","r")) == NULL)
	{
	printf("error read file 0\n");
	}else{
	jug = 1;
	while (fgets(listtad[ili],100,fpi) != NULL)
		{
		ili++;
		}
	fclose(fpi);
	}
// datage loading data //
if ((fpi = fopen("./input_data/GE_and_CC.txt","r")) == NULL)
	{
	printf("error read file 1\n");
	jug = 0;
	}else{
	while (fgets(datage[ige],1000,fpi) != NULL)
		{
		nr = 0;
		while((datage[ige][nr] != '\n') && (nr < 1000))
			{
			nr++;
			}
			datage[ige][nr] = '\0';
		ige++;
		}
	fclose(fpi);
	}
// datahe loading data //
if ((fpi2 = fopen("./input_data/HE_and_CC.txt","r")) == NULL)
	{
	printf("error read file 2\n");
	jug = 0;
	}else{
	while (fgets(datahe[ihe],1000,fpi2) != NULL)
		{
		nr = 0;
		while((datahe[ihe][nr] != '\n') && (nr < 1000))
			{
			nr++;
			}
			datahe[ihe][nr] = '\0';
			ihe++;
			if (ihe == 499999)
			{
// data analysis part//
    ......
// part end //
			ihe = 0;
			}
		}
	}

Answer 1

直接的な原因はわかりませんでした。
cateyeさん同様、スタック領域が不足している可能性があります。
以下3つの変数を関数の外に出してグローバル変数にするか、staticを付加するか、どちらかを試してみてください。

	char *datahe[500000];
	char *datage[300000];
	char listtad[30000][100] = {};

Comments

[yuChem]

ttyp03さん、ご回答ありがとうございます。
ttyp03さんからご助言いただきましたstaticを付加する方法で解決致しました。

Answer 2

直接の回答ではありません。
ポインタ領域（dataheなど）がかなり大きいようですが、gccのオプションでスタックサイズは拡張してありますか？

Comments

[yuChem]

ご回答ありがとうございます。結論から申し上げますと、ttyp03さんのstaticを付加する形で解決しました。cateyeさんからご助言いただきましたgccのオプションでスタックサイズを拡張する方法もやってみたのですが、gcc -Wl,stack,10240(stack size)を実行すると以下のようなメッセージが出て、正常に終了されませんでした。以下の生じた問題については後日調べようと思っています。
もし、再びご助言いただけると幸いではあります。
gcc -Wl,--stack,10240 file.c
/usr/bin/ld: stack: No such file: No such file or directory
collect2: ld はステータス 1 で終了しました

[cateye]

外していたらごめんmmですが、以下を参照ください
http://www.hiraku.ro/tdiary/?date=20081216

[yuChem]

ご回答ありがとうございました。今後の参考にさせていただきます。

Answer 3

恐らくdatage,dataheスタック上に連続して確保されていると思います
コンパイラーの最適化などによっては、どのようになるか、わかりませんが、
後で宣言されたものが若いアドレスに配置されることが多いです。
なのでdatageのサイズを超えたアクセスによって後ろのdataheを見てしまっていると思われます。

#include <stdio.h>

int main()
{
	int i;
	int a[4];
	int b[4];
	for(i=0;i<4;i++)a[i]=b[i]=0;
	
	a[0]=123;
	printf("%d",b[4]);
	
	return 0;
}

b[4]なんてありませんが、123と表示されます。(VCで確認)

Comments

[yuChem]

tmpさん　実例を示していただきましてありがとうございます。参考になります。
今回のトラブルを教訓として、スタックなどの基本的な部分に注意してプログラムを設計するように努めたいと思います。ありがとうございました。

Answer 4

while (fgets(listtad[ili],100,fpi) != NULL)

こいつがスタック上のカウンタ(long ixx)を上書しているのでは？
上記の処理では、読み込みファイルに改行も含めて100Byte以上の行があると、100Byte以降は次の読み込みに回されます。その場合、iliが30000以上になる可能性があります。

fgets(3)を使用するときは十分な長さのバッファに読み込んで、チェック後に実際の変数にコピーしましょう。

Comments

[yuChem]

hichonさん　ご助言ありがとうございます。
while (fgets(listtad[ili],100,fpi) != NULL)は問題ないようでしたが、今後、fgetsを用いる際には十分な長さのバッファを用いて用心しようと思います。

Answer 5

datahe[i]のポインタが示す領域にデータを書き込んだにも関わらず、
datage[i] (i>300000以降）のポインタが示す領域にデータが書き込まれ

ここが理解できませんでした。
dataheiに何かを書き込んだら、*datage[i] == *datahe[i]となるのですか？
datageiは存在しないはずですが。
datahe[i]と同じ値がdatageの何処かに書き込まれる？

もし対応するインデックス等がわかるならば書いてあった方が親切かもしれません。

Comments

[yuChem]

more deepさん、返信ありがとうございます。
ご指摘の通り、datage[i](i>300000)の記載は誤りです。
正確な記述ができていないようで申し訳けありませんでした。
*datage[i] (i > x,　xの値が実行の度に同じ値を示すのかを検証していない。少なくとも特定のx以上）の要素が後で実行されるdataheへの書き込みによって変更される現象が見られました。
staticを付加することで、異常が見られなくなりましたのでスタック領域の不足が問題のようでした。