文章に出現する各単語の出現回数を求める プログラムを実装したい

Question

ヘッダーファイルを作成し、読み取ったtxtの文章に出現する各単語の出現回数を求めるプログラムを実装したいです。

方針としましては
1.Node構造体に出現頻度を表すメンバint freqを追加する
2.出現単語をinsertする際，freqをインクリメントすることで，
各単語の出現頻度を数え上げる
3.全単語をshowする際，"{id+1}¥t{str}¥t{freq}¥n"をprintfする
といった流れで作業したのですが、エラーメッセージを見ても修正すべき点が分かりません。どうかご教授お願い致します。

ヘッダーファイル↓(trie.h)

#define NUM_OF_CHARS 26

typedef struct node Node;
struct node{
  int id;
  int freq;
  Node* next_char[NUM_OF_CHARS];
};


Node* create(){
  Node* node = (Node*) malloc(sizeof(Node));
  node->id = -1;
  for(int i = 0; i < NUM_OF_CHARS; i++) node->next_char[i] = NULL;
  return node;
}

void show(Node *curr, char *str, int pos){
  if(curr == NULL) return;
  if(curr->id != -1){
    str[pos] = '\0';
    printf("%d\t%s\n", curr->id+1, str);
    printf({id+1}\t{str}\t{freq}\n);
  }
  for(int i = 0; i < NUM_OF_CHARS; i++){
    if(curr->next_char[i] != NULL){
      str[pos] = i+'a';
      show(curr->next_char[i], str, pos+1);
    }
  }
}


void insert(Node *freq, char *str){
  static int WID = 0;
  if(freq == NULL) return;
  while(*str){
    char ch = *str-'a';
    if(freq->next_char[ch] == NULL) freq->next_char[ch] = create();
    freq = freq->next_char[ch];
    str++;
  }
  if(freq->id == -1) freq->id = WID++;
}

ソースファイル↓(word_freq.c)

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include "trie.h"

int N;
char **words;

void read_text(char *fn){
  FILE *fp = fopen(fn, "r");
  char str[32];
  fscanf(fp, "%d\n", &N);
  words = (char **) malloc(N*sizeof(char *));
  for(int i = 0; i < N; i++){
    fgets(str, 32, fp);
    char *p = strchr(str, '\n');
    *p = '\0';
    int len = strlen(str);
    words[i] = (char *) calloc(len+1, sizeof(char));
    strcpy(words[i], str);
  }
fclose(fp);
}

int main(int argc, char *argv[]){
  read_text(argv[1]);
  Node* root = create();
  for(int i = 0; i < N; i++) insert(root, words[i]);
  char str[32];
  show(root, str, 0);
}

---

実現したい実行結果↓
./cpgm/word_freq data/news.txt | sort -n -k 3 -r | head
13 the 12
23 to 9
11 huawei 6
6 of 4
1 google 4
22 states 3
21 united 3
9 with 2
87 is 2
77 components 2

---

エラーメッセージ↓
cpgm/trie.h: In function ‘create’:
cpgm/trie.h:12:24: warning: implicit declaration of function ‘malloc’ [-Wimplicit-function-declaration]
Node* node = (Node*) malloc(sizeof(Node));
^
cpgm/trie.h:12:24: warning: incompatible implicit declaration of built-in function ‘malloc’
cpgm/trie.h:12:24: note: include ‘<stdlib.h>’ or provide a declaration of ‘malloc’
cpgm/trie.h:14:62: error: ‘NULL’ undeclared (first use in this function)
UM_OF_CHARS; i++) node->next_char[i] = NULL;
^
cpgm/trie.h:14:62: note: each undeclared identifier is reported only once for each function it appears in
cpgm/trie.h: In function ‘show’:
cpgm/trie.h:19:14: error: ‘NULL’ undeclared (first use in this function)
if(curr == NULL) return;
^
cpgm/trie.h:22:5: warning: implicit declaration of function ‘printf’ [-Wimplicit-function-declaration]
printf("%d\t%s\n", curr->id+1, str);
^
cpgm/trie.h:22:5: warning: incompatible implicit declaration of built-in function ‘printf’
cpgm/trie.h:22:5: note: include ‘<stdio.h>’ or provide a declaration of ‘printf’
cpgm/trie.h:23:12: error: expected expression before ‘{’ token
printf({id+1}\t{str}\t{freq}\n);
^
cpgm/trie.h:23:12: error: stray ‘\’ in program
cpgm/trie.h:23:12: error: stray ‘\’ in program
cpgm/trie.h:23:12: error: stray ‘\’ in program
cpgm/trie.h: In function ‘insert’:
cpgm/trie.h:36:6: error: ‘curr’ undeclared (first use in this function)
if(curr == NULL) return;
^
cpgm/trie.h:36:14: error: ‘NULL’ undeclared (first use in this function)
if(curr == NULL) return;

Answer 1

word_freq.c の中に trie.h を直接書いて、★の修正を加えてみました。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
//#include "trie.h"
#define NUM_OF_CHARS 26

typedef struct node Node;
struct node{
  int id;
  int freq;
  Node* next_char[NUM_OF_CHARS];
};


Node* create(){
  Node* node = (Node*) malloc(sizeof(Node));
  node->id = -1;
  node->freq = 0;  // ★ 追加
  for(int i = 0; i < NUM_OF_CHARS; i++) node->next_char[i] = NULL;
  return node;
}

void show(Node *curr, char *str, int pos){
  if(curr == NULL) return;
  if(curr->id != -1){
    str[pos] = '\0';
    printf("%d\t%s\t%d\n", curr->id+1, str, curr->freq); // ★ 変更
    //printf({id+1}\t{str}\t{freq}\n); // ★ 削除
  }
  for(int i = 0; i < NUM_OF_CHARS; i++){
    if(curr->next_char[i] != NULL){
      str[pos] = i+'a';
      show(curr->next_char[i], str, pos+1);
    }
  }
}


void insert(Node *freq, char *str){
  static int WID = 0;
  if(freq == NULL) return;
  while(*str){
    char ch = *str-'a';
    if(freq->next_char[ch] == NULL) freq->next_char[ch] = create();
    freq = freq->next_char[ch];
    str++;
  }
  if(freq->id == -1) freq->id = WID++;
  freq->freq++; // ★ 追加
}

int N;
char **words;

void read_text(char *fn){
  FILE *fp = fopen(fn, "r");
  if (!fp) { perror("fopen"); return; }  // ★ 追加
  char str[32];
  fscanf(fp, "%d\n", &N);
  words = (char **) malloc(N*sizeof(char *));
  for(int i = 0; i < N; i++){
    fgets(str, 32, fp);
    char *p = strchr(str, '\n');
    *p = '\0';
    int len = strlen(str);
    words[i] = (char *) calloc(len+1, sizeof(char));
    strcpy(words[i], str);
  }
fclose(fp);
}

int main(int argc, char *argv[]){
  read_text(argv[1]);
  Node* root = create();
  for(int i = 0; i < N; i++) insert(root, words[i]);
  char str[32];
  show(root, str, 0);
}

Comments

[rft3]

read_txt内を変更するという発想が出なかったです。大変参考になりました。

Answer 2

1. まずは、ヘッダーファイルのことは忘れて#include "trie.h"はコメントにし、その直後にでもtrie.hの内容をすべて貼り付けてください。
2. ソースコードをコンパイルしてエラーをつぶしてください。ほかの方の回答にもあるように、printfにC言語にはない変数埋め込み風の構文の写し間違い(少なくとも"で囲むべきだろう)のようなものが存在しますね。
3. エラーがなくなったらコードを実行してみてください。read_textを読む限り、何か特定の構造を持ったファイルを想定しているようですが、提示されていないので検証できません。

なお、C言語では一般にヘッダーファイルに関数は書きません(デバッグ用途など特殊な目的を除く)。

Answer 3

printf({id+1}\t{str}\t{freq}\n);

C言語にはこういう構文はありません。