C++における全角文字の処理について

Question

１行毎に単語の並んだテキストファイル(utf-8)を読み込み、vectorに格納を行おうとしているのですが、全角文字を扱う際に思うように動作しません。
各行の単語をwordに保持し、for文の中で単語内の１文字ずつをchstrに入れ、wvecに格納を行っています。
半角英数文字の際は、chstrにきちんとword.txt内の文字が入っているのですが、全角の日本語の場合、8進数に変換されたものが入ってしまいます。
ex.)
word → 各chstr
apple → a p p l e
あっ→\343 \201 \202 \343 \201 \243 (正しくは あっ → あ っ となってほしい)

全角文字の場合でも正しくchstrに文字を入れるためにはどうすれば良いのでしょうか？

std::ifstream ifspdic("word.txt");
while (std::getline(ifspdic, str)){
  std::stringstream is(str);
  std::string word, chstr;
  std::vector<int> wvec;

  is >> word;
  for (auto it=word.begin(); it!=word.end(); it++){
    chstr = *it;
    wvec.pushback(symbol2id.find(chstr)->second);
  }
}

Answer 1

こんにちは。

3バイト文字を文字そのままの形で取ってきて保持することはできないものでしょうか。

UTF-8形式のまま1文字毎に切り出したいということでしょうか？

切り出しアルゴリズムについては、趣味プログラマによるOSS開発日誌が参考になります。UTF-8は最小1バイト最大6バイトありますのでご注意下さい。

chstr = *it;

でitから継続するUTF-8の1文字を切り出してchstrへ放り込み、itをその分-1増やしておけば良い筈です。

Comments

[milco]

>>UTF-8形式のまま1文字毎に切り出したいということでしょうか？
そうです！参考URLまで頂き、ありがとう御座います、熟読させて頂きます。

Answer 2

多バイト文字(1文字が2byte以上で構成される)なんだからそうなるのはアッタリマエちゃいますの?

Comments

[milco]

回答ありがとう御座います。
仰る通りで、3バイト文字を扱っているためこのようになってしまっております。
3バイト文字を文字そのままの形で取ってきて保持することはできないものでしょうか。

[episteme]

一旦UTF-16(std::wstring)に変換すれば一文字が wchar_tひとつに収まります。
# 例外もありますがかなり"まれ"なので実用上差支えないと考えます