wikipedia dump データの処理について〜segmention fault〜が治らない

Question

自然言語処理について勉強しています。
Wikipediaのdumpデータから本文を抜き出して処理をしようと思ってます。
xmlの処理について試しているのですが、出力結果が想定とは全然違って困っています。
欲しい出力は,,<page>~~</page>の中身です。
segmetation faultが治らず困っています。
プログラミングはあまり得意ではないです。

以下にソースコードを貼り付けます。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

int main (){


int  p=0;
char pb[5]={};
char line[BUFSIZ];／／vsstudioにより1024と判明
FILE *fp =NULL;
FILE *fw =NULL;
fp=fopen("jawiki-20211220-pages-articles-multistream2.xml" , "r");／／wiki

char title[BUFSIZ];

//FILE *gt=fopen("list_1.txt","r");   
fw = fopen("get_text_c.txt", "w");//書き込み先
if ((NULL == fp)||(NULL== fw )){
   printf("abootしました。");
   abort();//終了、ここがうまくいってない？
 }
 while (p = ftell(fp), fgets(line, BUFSIZ, fp)) {
   if (strstr(line, "<page>")){
     pb[0]=p;
   }
   else if (strstr(line, "</page>")){
     pb[1] = p - pb[0]+1;
     fseek(fp,-pb[1],SEEK_CUR);
     fprintf(stderr, "start=%d size=%d BUFSIZ=%d\n", pb[0], pb[1], BUFSIZ);
     // printf("%d",fp);
     fgets(line,pb[1],fp);
     //fwrite(pb, sizeof(size_t), 2, fw); // ...
     //fprintf(fw, "%hhd \t %hhd \n", pb[0], pb[1]); //... 名残
     fprintf(fw,"%s  \n",line);
   }
 }
 
fclose(fw);
fclose(fp);
}

次に出力ファイル（５行ほど）です。

>chmmooepsrvwuo4n0ziki50nn5rvhj7</sha1>
  
>chmmooepsrvwuo4n0ziki50nn5rvhj7</sha1>
  
>chmmooepsrvwuo4n0ziki50nn5rvhj7</sha1>
  
>chmmooepsrvwuo4n0ziki50nn5rvhj7</sha1>

Comments

[episteme]

BUFSIZいくつ? xml読み込むのに十分大きい?

[studyprg]

このプログラムを作る前にxmlファイル内の記事の始点から終点のバイトを読み込むプログラムを作成した時はしっかり動きましたので大丈夫だと思います。

[episteme]

しっかり動いたときと同じかそれ以上のBUFSIZなんですね?

[studyprg]

多分そうだと思います。
他の方にバッファサイズ拡張したらと指摘されているので不安です。

[m-take]

(1) fpがNULLかどうかは、ftellやfgetsにfpを渡す前にチェックしなければなりません。
(2) pbの各要素はcharなので、pの値を代入したりpとの差を計算した値を代入するには不適です。
(3) ftell関数の説明に、戻り値の差が文字数と一致するとは限らない、といった注意が書かれているはずです。

[studyprg]

ありがとうございます　ちょっと動かして確認してみます

[studyprg]

bufsizは1024でした。
色々修正しました。

Answer 1

pb[1] が BUFSIZ を超えると、範囲外アクセスを起こしてクラッシュする可能性が高いです。

BUFSIZ を大きくするとか、malloc() でメモリを確保するなどで対処しましょう。

(最初の質問文のコードに対して)

• pb[0] が初期化以降更新されていないので、pb[1] が大きい値になりがちです。
• fp fw の NULL チェックは fp fw を使うより前(while より上)でやりましょう。
• lldb -o run -- 実行ファイル名 のあと bt で、クラッシュの種類やクラッシュしたソース上の場所を確認できます。

Comments

[studyprg]

具体的にはどうしたらいいでしょうか？
バァッファサイズは今まで習ったことをそのまま使ってるので具体的なサイズについて理解してないのかなと思います

[int32_t]

> 具体的にはどうしたらいいでしょうか？

具体的なコードはご自分で書いてください。

あとは、pb[1] が BUFSIZ を超えているときは BUFSIZ だけ読んで fw に書き込んで pb[1] から BUFSIZ を引くのを繰り返すとか。

あと、pb[0] が更新されることがなく常に 0 ですね。こちらが原因かもしれません。

[studyprg]

了解しました。試して見ます。

[studyprg]

値の更新ができてないってどうゆうことですかね？
代入はしてるはずですが
…

[int32_t]

> 代入はしてるはずですが

質問文のコードでは初期化より後でいっさい代入してないように見えます。

デバッガでステップ実行してみるとか、fseek()の後ぐらいに fprintf(stderr, "start=%d size=%d BUFSIZ=%d\n", pb[0], pb[1], BUFSIZ); とか入れて値を確認してみましょう。

[studyprg]

代入まわりなど指摘の点を修正しましたが、直ってないですね。申し訳ないです。

[int32_t]

fprintf(stderr, ... では何が表示されましたか?

[studyprg]

何も表示されず即segmention faultでした。
更新しました。

[int32_t]

それは想定外ですね。

if ((NULL == fp)||(NULL== fw )){ ... } のブロックを while() よりも上に移動してみてください。

あと「gdb -ex run --args ./get_all」で実行してみてください。

[studyprg]

Unable to find Mach task port for process-id 703: (os/kern) failure (0x5).
(please check gdb is codesigned - see taskgated(8))
こんな感じのが出ました。調べても意味がわかんなかったです。

[studyprg]

一応署名はしたと思います。

[int32_t]

ああ、macOS でしたか。では
lldb -o run -- ./get_all
ですかね。

[studyprg]

libsystem_kernel.dylib`__pthread_kill:
-> 0x7fff204eb92e <+10>: jae 0x7fff204eb938 ; <+20>
0x7fff204eb930 <+12>: movq %rax, %rdi
0x7fff204eb933 <+15>: jmp 0x7fff204e5ad9 ; cerror_nocancel
0x7fff204eb938 <+20>: retq
Target 0: (get_all) stopped.

Process 1451 launched:
(lldb) f
frame #0: 0x00007fff204eb92e libsystem_kernel.dylib`__pthread_kill + 10
libsystem_kernel.dylib`__pthread_kill:
-> 0x7fff204eb92e <+10>: jae 0x7fff204eb938 ; <+20>
0x7fff204eb930 <+12>: movq %rax, %rdi
0x7fff204eb933 <+15>: jmp 0x7fff204e5ad9 ; cerror_nocancel
0x7fff204eb938 <+20>: retq
これが出ました。

[int32_t]

その行の前にも何か表示されているはずです。
SIGABRT と表示されてたら、ソース中の abort() で終了したということになります。

lldb のその状態で「bt」と打つと、ソースの何行目でクラッシュしたか表示されると思います
(abort() で終了した場合は明らかなのでいらない情報ですが)

[studyprg]

* thread #1, queue = 'com.apple.main-thread', stop reason = signal SIGABRT
* frame #0: 0x00007fff2042592e libsystem_kernel.dylib`__pthread_kill + 10
frame #1: 0x00007fff204545bd libsystem_pthread.dylib`pthread_kill + 263
frame #2: 0x00007fff203a9406 libsystem_c.dylib`abort + 125
frame #3: 0x0000000100003ce8 get_all`main at Wiki_getter2_All.c:18:4
frame #4: 0x00007fff2046ff3d libdyld.dylib`start + 1
これっすね

[studyprg]

おそらくfpが最初にnull判定を受けてますね。

[int32_t]

> frame #3: 0x0000000100003ce8 get_all`main at Wiki_getter2_All.c:18:4

Wiki_getter2_All.c の 18 行目で abort() ですね。

> おそらくfpが最初にnull判定を受けてますね。

そうですね。fopen() が失敗する原因を調べてください。fp と fw の NULL チェックを別々にして、それぞれに perror() でも入れると少しわかりやすいかもしれません。

[studyprg]

null判定見直したら動きましたが新しい問題に直面しました。

[int32_t]

segmention fault は解消したのですか?
もしそうなら、この質問は解決済みにして新しい質問を立てませんか。

[studyprg]

そうします。