MATLAB ファイル読み込み

Question

観測したzipファイルを手で解凍し、MATLABで読み込む方法についてです。

観測で得られたzipファイルを手動で解凍し、開くと
ーーーーーーーーーー
e16A0319.272413 2016/10/03 19:26
e16A0319.272413 2016/10/03 19:27
・・・
ーーーーーーーーーー
という風に1分ごとに記録された、ファイルが入っています。

その中から、
「e16A0319.272413」
の中身を表示すると、
ーーーーーーーーーーーーーーーーーーーーーーーーーーー
e16A0319.272413
03/10/2016 19:26:23 03/10/2016 19:27:24 0000 0000.0 0000.0 00
0000000 0010 0018952 0010 04
1 0 2 00512 1 0000 0015 00829.o 0 0 00 000 12 150024 0.020 BT1
1 1 2 00512 1 0000 0015 00829.o 0 0 00 000 00 150024 3.1746 BC1
1 0 2 00512 1 0000 0015 00829.o 0 0 00 000 12 150023 0.020 BT1
1 1 2 00512 1 0000 0015 00829.o 0 0 00 000 00 150023 3.1746 BC1
ーーーーーーーーーーーーーーーーーーーーーーーーーー

その下に、
ーーーーーーーーーーーーーーーーーーーーーーーーーーー
邪ﾗ｡ﾗｼｩﾗOｫﾗそﾗa泰ﾗL釐!TﾘﾗﾖZﾗｮｪﾗ㌘ﾗtKﾗTxﾗ%rﾗ晗o蹟( ﾗ・ﾗｭﾗｿCﾗ 碩>槞遞ﾗM泰%ｬﾗｷﾗCｺﾗdｺﾗ・ﾗﾏﾗﾗﾗﾗ=・"ｮfﾘﾂﾘﾀﾘﾘVﾘN/ﾘｺ4ﾘ6DﾘDHﾘVﾘﾘDﾘﾋ_ﾘﾗaﾘjﾘYnﾘｦyﾘ|ﾘ>€ﾘｦ筋X筋ﾄ娩壓s｣ﾘ｡｢ﾘgｩﾘｯﾘyｯﾘ┝ﾘｸﾁﾘｿﾘ捨ﾘ橆ﾘH籀
ﾟﾘﾁ袙､毖・ﾘﾊ."ﾙYﾙ-ﾙﾅﾙ ﾙｱ'ﾙI2ﾙﾄ6ﾙ・ﾙ・ﾙｶ@ﾙ'Jﾙ祟ﾙxVﾙ輯ﾙ(cﾙjdﾙﾅiﾙHlﾙjﾙoﾙｮtﾙﾓgﾙﾐpﾙnﾙ+uﾙ`pﾙ綠ﾙ2・ﾂEj\MｿMS€・果_ｯ・Xｵ・T-適・A｣・s=FC>輅筋ﾌfﾍﾅｼk・u%dﾛ0ﾖа4ﾋｾ・ｦ
・・・・・・・・・・・・・・・・
ーーーーーーーーーーーーーーーーーーーーーーーーーーー

という表記があり、この部分をMATLABに読み込みたいと考えています。
その後、そのデータでグラフを作成する予定です。
データフォーマットは「http://licel.com/raw_data_format.html」です。

そのためのプログラムに関して、下記で足りない部分、根本的に間違っている部分を教えていただきたいです。
身近に質問できる人がいないためここで質問させていただきました。よろしくお願いします。

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
fid = fopen(e16A0319.262265); %ファイルを開く

tline1 = fgetl(fid); %header3行 とばす
tline2 = fgetl(fid);
tline3 = fgetl(fid);

date = fread(fid,512,'long'); %date数 512コ

fclose(fid);
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

Answer 1

リンク先のデータフォーマットの説明を読んでみると、ヘッダの3行というのは、固定部分のことで、可変部分もあるようです。固定部分の3行を見ると

e16A0319.272413                                                               
03/10/2016 19:26:23 03/10/2016 19:27:24 0000 0000.0 0000.0 00        
0000000 0010 0018952 0010 04

で、3行目の 04 のところが、the number of following data sets、つまり、この後に続くデータセットの個数を表しています。この場合は4行のデータセット情報があります。

1 0 2 00512 1 0000 0015 00829.o 0 0 00 000 12 150024 0.020 BT1                
1 1 2 00512 1 0000 0015 00829.o 0 0 00 000 00 150024 3.1746 BC1               
1 0 2 00512 1 0000 0015 00829.o 0 0 00 000 12 150023 0.020 BT1                
1 1 2 00512 1 0000 0015 00829.o 0 0 00 000 00 150023 3.1746 BC1 

各行の4番目のフィールドが number of data points、つまりデータセットに含まれるデータの個数です。この場合は、すべて 00512 なので、512個ずつデータがあります。

この後に、実際のバイナリデータが来ますが、The header lines are followed by a <CRLF> and the 32 bit data sets which are separated by a <CRLF>. とありますので、一つのデータは、32ビット、つまり4バイトのデータです。これが、データセットごとに <CRLF> で区切られて並んでいます。

全体の構造としては、

固定ヘッダ行1
固定ヘッダ行2
固定ヘッダ行3
データセットヘッダ行1
データセットヘッダ行2
データセットヘッダ行3
データセットヘッダ行4
データセット1 (512x4バイト)
<CRLF>
データセット2 (512x4バイト)
<CRLF>
データセット3 (512x4バイト)
<CRLF>
データセット4 (512x4バイト)

になっています。32ビットデータのフォーマットについては何も書いていないので、どうやって読み込んだらいいのか正確にはわからないのですが、リトルエンディアンの整数と仮定したコードは

fid = fopne('e16A0319.272413');

% 最初の2行は捨てて、3行目を残す
for i = 1:3
    header = fgetl(fid);
end

% 3行目からデータセットの個数を求める
fields = strsplit(header);
num_datasets = str2double(fields{5});

% 各データセットのデータの個数を求める
num_data = zeros(1, num_datasets);
for i = 1:num_datasets
    header = fgetl(fid);
    fields = strsplit(header);
    num_data(i) = str2double(fields{4});
end

% 各データセットの読み込み
data = cell(1, num_datasets);
for i = 1:num_datasets
    data{i} = fread(fid, num_data(i), 'long');
    
    % <CRLF> の読み飛ばし
    if i ~= num_datasets
        fread(fid, 1, 'short');
    end
end

fclose(fid);

のようになります。実データがないので試してないので、注意してください。

Comments

[Tannnnnnnnnnn]

丁寧なご回答本当に感謝します。
ファイルの構造や意味を理解できました。

全ての観測データが、データセット4、データ512×４バイトの場合は以下のプログラムで合っているでしょうか。

------------------------------------------------------------
fid = fopen('e16A0319.272413','r');

% 各データセットの読み込み
data = cell(1, 4);
for i = 1:4
data{i} = fread(fid, 512, 'long');

% <CRLF> の読み飛ばし
if i ~= 4
fread(fid, 1, 'short');
end
end

fclose(fid);
-------------------------------------------------------------

なお、データ部を３行分バイナリエディタで表示したものはこちらです。
50 4B 03 04 14 00 00 00 08 00 9B 56 21 49 85 7B
D0 18 9B 16 00 00 3A 22 00 00 16 00 00 00 31 36
30 39 30 36 2F 65 31 36 39 30 31 31 30 2E 35 32

[退会済みユーザー]

ヘッダ部分の7行を読み飛ばした後は、そのコードでいいと思います。
４バイトのバイナリデータについては、フォーマットが明記されていないので、確かなことはわかりません。