mallocについて

Question

#include<stdio.h>
#include<stdlib.h>
#include<errno.h>
#include<string.h>
#include<ctype.h>
#include<unistd.h>
#include <dirent.h>
#include<sys/types.h>
#include<sys/stat.h>
#include<fcntl.h>
#include<setjmp.h>
#include<signal.h>

char* gettoken(char** ptr)
{
    if(strlen(*ptr) == 0)return NULL;
    char *tmp = *ptr;
    int idx = 0;
    int first,end;
    while(tmp[idx]==' '&&idx<strlen(tmp))idx++;
    first = idx;
    while((tmp[idx])!=' '&&idx<strlen(tmp))idx++;
    end = idx;
    char* token = malloc(sizeof(char)*(end-first));
    for(int i = 0;i<end-first;i++)token[i] = tmp[i+first];
    *ptr=&tmp[idx];
    if(strlen(token)==0)return NULL;
    return token;
}

int main(int argc, char* argv[])
{
    char *s = "I have a dream", *token;
    
    while ((token = gettoken(&s)) != NULL)
    {
        printf("%s\n", token);
        free(token);
    }
    return 0;
}

このプログラムは与えられた文字列をスペースごとに区切って表示するためのもので、このmain関数では "I" "have" "a" "dream"となるのが望ましいです。
しかし"a"を取り出すときになぜかaaveと表示されます(前回のhaveが由来のようです）。
mallocで"a"を確保する際にはchar型１つ分しか借りていないはずなのですが、なぜかhaveを格納するだけのサイズを確保しているようです。何が良くなかったのか教えていただけるとありがたいです。

Answer 1

printf関数の書式指定で「%s」を使用して文字列出力をさせるなら対象文字列の末尾にはヌル文字「\0」を入れるべきだが、提示されてたプログラムでは考慮されていないことが問題だと思います。

具体的に言うと、
"a"という文字列に対する処理の場合は「printf( "%s\n", token )」に与えるtokenとしては"a\0"のように末尾に'\0'文字を追加する必要があります。この際malloc関数で2バイト確保するような処理になってなければいけません。(提示プログラムでは1バイトしか確保していません。)

上記を考慮したコードは次のようになります。変更行にはコメントをつけています。
変更したのは2行で、後1行は自分の環境ではゴミ文字列が付いてしまう現象が再現しなかったためにつけた
もので最終的には消すべき処理です。

#include<stdio.h>
#include<stdlib.h>
#include<errno.h>
#include<string.h>
#include<ctype.h>
#include<unistd.h>
#include <dirent.h>
#include<sys/types.h>
#include<sys/stat.h>
#include<fcntl.h>
#include<setjmp.h>
#include<signal.h>

char* gettoken(char** ptr)
{
        if(strlen(*ptr) == 0)return NULL;
        char *tmp = *ptr;
        int idx = 0;
        int first,end;
        while(tmp[idx]==' '&&idx<strlen(tmp))idx++;
        first = idx;
        while((tmp[idx])!=' '&&idx<strlen(tmp))idx++;
        end = idx;
        char* token = malloc(sizeof(char)*(end-first+1)); /* 変更: '\0'を考慮して1バイト多く確保する */
        for(int i = 0;i<end-first+1;i++)token[i] = 'X'; /* 最終的にこの行は消してください: 確認のためにmallocで確保した領域にゴミを入れています */
        for(int i = 0;i<end-first;i++)token[i] = tmp[i+first];
        token[ end - first ] = '\0'; /* 追加: 文字列の末尾に'\0'を入れる。 */
        *ptr=&tmp[idx];
        if(strlen(token)==0)return NULL;
        return token;
}

int main(int argc, char* argv[])
{
        char *s = "I have a dream", *token;

        while ((token = gettoken(&s)) != NULL)
        {
                printf("%s\n", token);
                free(token);
        }
        return 0;
}

Comments

[hidezzz]

以下は問題点の本質ではない部分ですが、なぜ"a"を処理する際に"aave"となってしまうかについて説明します。
正しくない文字列になってしまう現象はmalloc関数の実装によって起こったり起こらなかったりします。
実際手元のLinxMint19.2の環境で試したところmalloc関数で取得されている領域が0クリアされているようで
"a"が表示されました。
malloc関数で取得される配列は0クリアされているとは限らないので、"a"の後ろがその他のゴミ文字列になってしまう環境もありうると思います。("aave"となってしまうのもそういう現象の一種です。)
malloc関数の代わりにcalloc関数を使用して処理を置き換えれば一応"a"が表示されるようにはなりますが、これは正しい対処方法ではありません。

[seiyouakadanuki]

丁寧に回答していただきありがとうございます。

Answer 2

printf("%s\n", token);

%sで参照される文字列は'\0'で終わっていなければなりません。しかしgettoken内では、単語の文字に必要なだけのメモリしか確保されておらず、'\0'が最後に追加されていないので、printfは、確保されたメモリの範囲を超えて'\0'を探しに行っています。

例に即して説明すれば

1. "I"と"have"の場合は、確保したメモリの範囲を超えた場所に、たまたま'\0'が入っていたので、成功しているように見える。
2. "a"のとき、"have"用に確保されて返却されたばかりの同じメモリが確保された。確保した分の先には、前の"have"の分が残っているので"aave"となった。

わけです。

gettokenで、'\0'の分もメモリを確保して追加すれば、うまくいくと思います。