C言語 strtok関数の自作に関して

Question

strtok関数を自作して、「,」で区切られた文字列を第1引数にとって、関数を呼び出すたびに順番に区切られた部分を文字列として返すようなプログラムを作りたいのですが、strtok自体があまり理解できず関数の自作も難航しています。

strtok関数を自作する上でのアルゴリズムのヒントなどをご教授していただけると幸いです。

ちなみに今回の関数では、第1引数がNULLのときは前回の文字列の探索の続きを行えるように、新しく文字列が与えられたら最初から、切り出しが終了したらNULLを返せるようにする条件が付いています。
可能であればカンマ（区切り文字）が連続した際に返す文字も工夫してください（私の場合はとりあえずNULLにしますが）。

イメージ的にはこんな感じにしたいです（下）

int main(void){

    char str[]="abc,xyz,012";               //strは自分でmain関数を開き,下のprintf文の関数呼び出しの引数部分に直接書き込んでも良い
    char str_ans[];
                                            //実行結果（表示形式）
    printf("%s¥n",myStrtok(str,str_ans));   //abc
    printf("%s¥n",myStrtok(NULL,str_ans));  //xyz
    printf("%s¥n",myStrtok(NULL,str_ans));  //012
    printf("%s¥n",myStrtok(NULL,str_ans));  //NULL

    return 0;
}

Answer 1

strtokのような感じとは言え、同じ処理ではないので、strtokを気にしないほうがいいかもしれません。
（知識として知っておくのは全然構いませんが）

たぶんこんな感じの流れで書けばよいと思います。

1. 引数1がNULLではなかったら、ローカルstatic変数に値を保持する。
2. ローカルstatic変数で参照できる実体の値を1バイト、引数2に代入する。
3. ローカルstatic変数と引数2の値（アドレス）をインクリメント。
4. 2～3をカンマまたはNULL文字が見つかるまで繰り返す。
5. 引数2にNULLを代入する。

Answer 2

状態を覚えておかなくてはならないためにstatic変数を使うと、複数の場所で同時に使うような用途では使えなくなります
なので、その状態変数（おそらくchar*）を外部から与えるようにしなければならないってことになりますが、これも分かりづらく、使いづらいものになってしまいます。そこをどうするかですね

Answer 3

• 第1引数がNULLの時に前回の続きを返すためには、前回どこまでチェックしたかを関数内で覚えておく必要があります。これはstatic変数を使うことになるかと思います。
• strtokは呼び出される度に区切り文字の位置を探して、見つけた場所を¥0に変えていきます。strlenなどと異なり第1引数にconstが付いていないのですが、それはこのような書き換えを関数内で行うためです。

ヒントになりますでしょうか。

（追記）
すいません、変数名からすると、標準のstrtokとは異なり、第2引数で指定したバッファに結果を格納したいということのようですね。2番目のヒントは標準のstrtokを実現する場合のものですので無視してください。

Answer 4

char* myStrtok(char* str, char* pdst)
{
  static char* p = NULL;
  
  for(str || p = str; ',' != *p; p++, pdst++){
    *pdst = *p;
  } 
  return ++p;
}

指定の仕様なら自分なら↑ですかね？

もっとも、私なら以下の要件を削除し、↓のソースコードを書きます。いずれも動作未確認です。

第1引数がNULLのときは前回の文字列の探索の続きを行えるように、新しく文字列が与えられたら最初から、切り出しが終了したらNULLを返せるようにする条件が付いています。

char* myStrtok(char* p, char* pdst)
{
  for(; ',' != *p; p++, pdst++){
    *pdst = *p;
  } 
  return ++p;
}


//呼び出す場所
char str[]="abc,xyz,012";
char str_ans[];
char* p = str;

p = myStrtok(p,str_ans);   //abc
p = myStrtok(p,str_ans);  //xyz
p = myStrtok(p,str_ans);  //012
p = myStrtok(p,str_ans);  //NULL

Answer 5

題意にはそぐわないと思いますが・・・ヒントになれば
また、終端('\0')が見つかっても再度separate()を呼び出します・・・改良の余地あり・・・

usr~/test % ./a.out 
abc
xyz


012
usr~/test % cat separate.c
#include <stdio.h>
//
const char *separate(const char *str, const char delimiter, char * destination)
{
    if( *str == '\0' ){
        return NULL;
    }
    while( *str != delimiter && *str != '\0' ){
        *destination++ = *str++;
    }
    *destination= '\0';

    return *str != '\0' ? ++str: str;
}

int main()
{
    char str[]="abc,xyz,,,012";
    char buf[10];
    const char *pos= str;
    //
    while((pos= separate(pos, ',', buf)) != NULL){
        puts(buf);
    }
    //
    return 0;
}
usr~/test % 

Answer 6

strtokと等価な動作は、おおむね以下のような処理で実現できます。
strtok関数のプロトタイプ宣言がchar *strtok(char *str, const char *delim)だとして、流れを説明してみます。
※オリジナルのstrtokでは区切り文字を複数指定できますが、下の例では1文字に限定していますので注意してください。

---

1. 引数(char *str)で指定された文字列先頭アドレスを返り値にセットする。(後で使います）

　 引数がNULLであれば、保存済みのstatic変数NEXTの値を先頭アドレスとして使う。

1. 先頭アドレスから文字列末端'\0'(NULL文字)まで検索し、指定の区切り文字(const char *delim)を見つける

2. 区切り文字が無く、末端'\0'(NULL文字)まで行ったら次回に出力するトークン文字列は無いということなので、static変数NEXTにNULLをセットし、5.へ。

3. 区切り文字があれば、区切り文字の位置に'\0'(NULL文字)を埋め込む。'\0'(NULL文字)を埋め込んだ次の位置をstatic変数NEXTへ保存しておく。(次にstrtokが呼ばれた時に使うことを想定)

4. 1で保存していた文字列先頭アドレスを返す。

---

注意など

オリジナルのstrtokは内部に次のトークン文字列へのポインタ(上記のNEXT変数)を保存するので、リエントラント(再入可能）ではなく、マルチスレッドでのプログラミングで使えないという制限があります。

その制限をなくした、static変数で内部に保存しないバージョンのstrtok_rと言う関数もあります。
Man page of STRTOK

strtokもstrtok_rも、ひとつ落とし穴（？）があって、区切り文字が連続している場合に空文字列がトークン文字列として返されません。その為、CSV形式のようなもので、文字列長0のデータがあるようなケースでは期待したように動作しません。以下の例をご覧ください。

#include <stdio.h>
#include <string.h>

int main(void) {
	const char orig[] = "item1, item2,,,,item4,   item5";
	const char delims[] = ",";
	char sz[256];

	strcpy(sz, orig);
	
	char *pref = strtok(sz, delims);
	int i = 1;
	while (pref != NULL) {
		printf("%d: [%s]\n", i++, pref);
		pref = strtok(NULL, delims);
	}

	return 0;	
}

これを実行すると以下のようになります。

$ ./a.exe

1: [item1]
2: [ item2]
3: [item4]
4: [   item5]

CSVであれば、これはちょっと期待していない動作だと思いますので、自作するときはこれの扱いをどうするか、がひとつの検討課題になると思います。（私はこの挙動のせいで、過去、何度も自作しましたｗ）

Answer 7

もう、邪道ですが、一応方法として。

他の方々も仰っているように、「staticな変数で保存している」と思います。

あくまでイメージ。

char* Strtok( char *str1, const char *str2 ){
      static char temp[100]; // <- これ!
      if( str1 != NULL ) strcpy( temp, str1 ); // データがNULLなら前回までのデータで
      ... // 処理...
}

のようになっていると思います。

でも、これだとデータを上書きしてしまう可能性があるので、C++ありなら、

私なら クラス化します。

"C言語で" と言っているのにC++って...ってことで邪道ですが。( そもそも条件すら満たしていない... )