C言語で区切り文字で区切って単語を一個ずつbucketに入れる

C言語でcallocを使いテキストファイルから読み込んだ奴をbuffer に入れてそれを区切り文字で区切ってbucket
の中に入れたいです。例えば　buffer の中身が　aaa bbbb cccc, dddd;　とかであればそれを下のコードに書いてあるspliterで区切ってその区切りもじをbucketの中にどんどん入れたいです。　この場合bucket の中が４個になるはずで。
ですが今のところ正しく読み込めていなくSegmentfaultがでます。多分ですがこのtokenize_stringのbucket++が問題だと思うのですが。。

コード
#include <assert.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <stdarg.h>

#define EXAMPLE_ERROR_CODE 1
#define FILE_NOT_FOUND -1
#define unableallocate 3
#define True 1
#define False 0


int tokenize_string(char* buffer, size_t size, word_t* bucket){

    size_t len = 0;
    int count = 0;
    char* p = NULL;

    char* spliter = " .,;()\n";

    p = strtok(buffer, spliter);

    while(p!= NULL){
        
        len = strlen(p);

        if(len != 0){


        strcpy(bucket->word, p);
        bucket->len = len;
        bucket++;
        count++;
        }
    　p = strtok(NULL,spliter);
    }
    return count;


}
//-----------------------------------------------------------
size_t readfile(char* filepath, char *buffer){

    size_t buff_size;
    FILE* fp = fopen(filepath, "rb");
    if (fp == NULL){
        
        return (size_t)FILE_NOT_FOUND;
    }

    fseek(fp, 0, SEEK_END);
    long pos = ftell(fp);
    fseek(fp,0,SEEK_SET);

    buff_size = (size_t)pos;

    fread(buffer,sizeof(char), buff_size,fp);
    fclose(fp);
    return buff_size;
}



int 
main(int argc, char *argv[]) {

    int infile = False;
    int is_sort = False;
    char* filename = NULL;
    size_t size = 0;
    int count = 0;
    char *buffer ;
    word_t *bucket;

typedef struct word_t
{
    int len;

    char* word;

    
} word_t;


    int i = 0; 

    if (argc <3){
        printf("program: missing '--infile <filename> [--sort] [--print-words]'\n");
        return EXAMPLE_ERROR_CODE;
    }

    for (i = 1; i < argc; i++){
        if(strcmp(argv[i], "--infile") == 0){
            infile = True;
        }
        else if(strcmp(argv[i], "--infile") == 0){
            is_sort = True;
        }

        else{
            if (infile == True && filename ==NULL){
                filename = argv[i];
            }
        }
        
        
    }

    if(infile == False){
        printf("No infile error. Exit the program.");
        return EXAMPLE_ERROR_CODE;
    }

    if (filename == NULL){
        printf("No filename error. Exit the program");
        return EXAMPLE_ERROR_CODE;
    }


    
// ------------------------------------------------------------
    buffer = (char *) calloc(10000, sizeof(char));
    if (buffer == NULL){
        printf(" can not get memory\n");
        return unableallocate;
    }


    size = readfile(filename,buffer) ;

    printf("%s", buffer);


    size = size -1;
    printf("%zu",size); // delete later
//--------------------------------------------------------------
// tokernize ---------------------------------------------------

    bucket = (word_t *) calloc(1500, sizeof(word_t));

    bucket-> len = 0;
    bucket-> word = (char*)calloc(1500,sizeof(char));

    count = tokenize_string(buffer, size, bucket);

    printf("%d",count); // delete later

    free(buffer);
    free(bucket->word);
	free(bucket);









    return 0;
} // end main

行動規範の内容に同意します

回答3件

文字列はすべて buffer に入ります。
bucket の word はその文字列へのポインタです。

C
1#include <stdio.h>   // printf, fopen, fclose, fread
2#include <stdlib.h>  // calloc, free
3#include <string.h>  // strlen, strtok
4
5typedef struct word_t {
6	int len;
7	char* word;
8} word_t;
9
10int tokenize_string(char *buffer, size_t size, word_t *bucket)
11{
12	int count = 0;
13	char *p = NULL;
14	const char *spliter = " .,;()\n";
15	p = strtok(buffer, spliter);
16	while (p != NULL) {
17		bucket->word =  p;
18		bucket->len = strlen(p);
19		bucket++;
20		count++;
21		p = strtok(NULL, spliter);
22	}
23	return count;
24}
25
26int readfile(const char *name, char *buffer, int size)
27{
28	FILE *fp = fopen(name, "r");
29	if (fp == NULL) { perror(name); return 0; }
30	size = fread(buffer, 1, size, fp);
31	fclose(fp);
32	return size;
33}
34
35int main(void)
36{
37	char *buffer = (char *)calloc(10000, sizeof(char));
38	word_t *bucket = (word_t *)calloc(1500, sizeof(word_t));
39	if (buffer == NULL || bucket == NULL) {
40		printf(" can not get memory\n");
41		return 0;
42	}
43	const char *filename = "data.txt";
44	int size = readfile(filename, buffer, 9999);
45	buffer[size] = '\0';
46
47	int count = tokenize_string(buffer, size, bucket);
48
49	printf("%d\n", count);
50	for (int i = 0; i < count; i++)
51		puts(bucket[i].word);
52
53	free(buffer);
54	free(bucket);
55}

tokenize_string で buffer のサイズは不要ですが、
bucket のサイズはあったほうがいいでしょう。

投稿2020/11/11 09:40

kazuma-s

総合スコア8224

bucketの一番先頭のwordだけ、callocしてメモリを割り当ててます。
2番目以降のwordのメモリが割り当てられていません。

これだと、先頭のwordだけ。

c
1    bucket-> len = 0;
2    bucket-> word = (char*)calloc(1500,sizeof(char));

tokenize_string関数の中で、 strcpy(bucket->word, p)する前にメモリを割り当てる必要があります。

c
1while(p!= NULL){
2
3        len = strlen(p);
4
5        if(len != 0){
6
7　　　　 // ★★コピーする前にメモリ割り当てが必要
8        strcpy(bucket->word, p);
9        bucket->len = len;
10        bucket++;
11        count++;
12        }
13    　p = strtok(NULL,spliter);
14    }