数値抜けtsv配列データの読み込み方法

Question

前提・実現したいこと

はじめまして
私はC言語でタブ区切りの数値データファイルの読み込みを以下のソースコードを使って読み込むことを試しております．その際，例えば以下のような4x4の配列データを読み込むとき，そのデータ（missing_value.tsv）に数値抜けがあった場合に適当な値（例えば0）などで補完して配列を読み込みたいと考えております（下記のデータ３行目は0 tab tab tab 3となっており, 1と2が抜けている状態です）．

もしよい方法等ご存じでしたらご教授いただければ幸いです。
何卒よろしくお願い申し上げます．

read_tsv.cpp

#include <stdio.h>

int main(void){

    int i, j;
    int x = 4, y = 4;
    double A[x][y];

    //file open
    FILE *file;
    file = fopen("missing_value.tsv","r");
    if(file == NULL){
        printf("File not opened\n");
        return 0;
    }

    //read data
    for(i=0; i<x; i++){
        for(j=0; j<y; j++){
            fscanf(file, "%lf", &(A[i][j]));
        }
    }

    //file close
    fclose(file);

    //display data
    for(i=0; i<4; i++){
        for(j=0; j<4; j++){
            printf("%lf ", A[i][j]);
        }
        printf("\n");
    }
    return 0;

}

missing_value.tsv

0  	1	2	3
0  	1	2	3
0			3
0  	1	2	3

Comments

[kazuma-s]

> 下記のデータ３行目は0, tab, tab, 3となっており,

3行目は「0 tab tab tab 3 改行」ではありませんか？
1行目が「0 tab 1 tab 2 tab 3 改行」だとすると。

Answer 1

scanf類の関数の変換指定子"%lf"では、
文字列先頭のホワイトスペース(空白やタブ文字等、isspace()関数に与えて1が返る文字)を全て読み飛ばし、ホワイトスペース以外の文字に到達したら、浮動小数点型として解釈できる文字列について変換し、浮動小数点型への変換に失敗したら(数字や.以外の文字が出てきたり文字列終端に到達したり)したら変換を終了、変換結果を与えられたポインタに格納して変換できた個数を返す
という処理をします(%dとかの整数入力、%sとかの文字列入力でも入力できる文字種が変わりますが手順は同様)。

で、水平タブはまさにこの「ホワイトスペース」ですので、タブや改行がいくつかある場合でも一気に読み飛ばされてしまいます。なので、"%lf"だけに頼っていては目的の処理はできません。
「よい方法」は、まず地道に処理を行えるようになってから考えましょう。

"%lf"だけに頼ってはできないので、「生」の入力文字列を取得して、自分で解析しましょう。
常套手段的には、fgets()で改行文字までを取得して、行内は'\t'を区切りに切り出して、strtod()で(成功/失敗を確認しながら)変換 を繰り返すことになるかと思います。いろいろバリエーションは考えられますが。

入力ファイルは、データが無いところでもtabが必ずはいっているのか、例えば
tabtab改行
1.23tab4.56tab改行
となっているのかそれともそういう行はtabが削られてしまって
改行
1.23tab4.56改行
になってしまったりするのか、によってはいろいろ気をつけなきゃいけないことが出てくるかもしれません。

Comments

[dodox86]

> 行内はstrtok()でタブ文字までを切り出して、

標準関数のstrtok()ですと、トークンの文字列が無いときに連続する区切り文字は1つの区切り文字として扱ってしまうので、この場合は残念ながら使えないと思います。

例：3と5の間が空
$ cat t1.c
#include <stdio.h>
#include <string.h>

int main() {
char s[256] = "1\t2\t3\t\t5";

char *p = strtok(s, "\t");
int n = 0;
while (p != NULL) {
++n;
printf("%d: p=[%s]\n", n, p);
p = strtok(NULL, "\t");
}
}

$ gcc -Wall t1.c;./a.out
1: p=[1]
2: p=[2]
3: p=[3]
4: p=[5]

[thkana]

> トークンの文字列が無いときに連続する区切り文字は1つの区切り文字として扱ってしまう
でしたっけ...じゃあ、そこは「'\t'を探して」ぐらいの言い方の方がいいですかね。修正しておきます。御指摘ありがとうございます。

#C++のstringに標準でsplit関数があれば悩むこともないのでしょうが。

[uta06]

thkana様，ご回答ありがとうございました．
ご指摘のようにファイル読み込みに関する知識（ファイルストリームの仕組み等）が不足しておりました．
着実に一行，一文字ずつ分解＆解読し，今後は安全な実装を務めてまいりたいと思います．
重ねてお礼申し上げます．

Answer 2

区切り文字が '\t' または '\n' だとすると、
次のような読み込み方もあります。

	for (i = 0; i < x; i++) {
		for (j = 0; j < y; j++) {
			A[i][j] = 0;
			int c = fgetc(file);
			if (c != '\t' && c != '\n') {
				ungetc(c, file);
				fscanf(file, "%lf%*c", &A[i][j]);
			}
		}
	}

追記
別解

#include <stdlib.h>  // strtod

    for (i = 0; i < x; i++) {
		char s[256], *p = fgets(s, sizeof s, file);
        for (j = 0; j < y; j++) {
			A[i][j] = (*p=='\t'|| *p=='\n') ? 0 : strtod(p, &p);
			p++;
		}
    }

Comments

[uta06]

ご回答ありがとうございます．
１つ目のプログラムを参考に実装したところ，所望の処理をすることができました．
他の方からご指摘いただいたようにオーソドックスなのはfgets()で各行ごとに分解して見てゆく方法のようですが，kazuma-s様からご教授いただいた方法では私の当初のプログラムに近い形でかつ簡潔な実装であったため大変参考になりました．
重ねてお礼申し上げます．

Answer 3

• １行分の文字列を読み込み
• TABコードで文字列を分解する
• それが数値であるなら数値変換、空白なら既定値を代入
• 文字列が尽きるまで繰り返し
• ファイルが尽きるまで繰り返し

というシーケンスでどうでしょう

Comments

[uta06]

お早いご回答をありがとうございます．
タブごとに分割し，地道に各個について処理するのがよさそうですね．
大変勉強になりました．