文字列から1文字だけを取り出す

Question

Microsoft Visual Studioで作っています

buffにchar str[200] = "あいうえお";のうだけを取り出して入れたいのですが実行すると
「うと表示されてしまいます。
「はどこからきたのでしょうか？教えてほしいです。また表示させない方法もお願いします。
#define _CRT_SECURE_NO_WARNINGS

#include<stdio.h>
#include<math.h>

int main(void) {

char str[200] = "あいうえお";
char buff[1000];

strncpy(buff, str+3,3 );

printf("%s\r\n", buff);

return 0;

}

追記
C++では文字列から1文字だけを取り出すのは不可能なのでしょうか？

Answer 1

そもそもchar型はたったの8bitしかありません。人類史上何度となく文字を固定長で表そうとする試みが続けられてきました。しかしそのことごとくは失敗に終わっています。常に文字は可変長のメモリーを必要とすることをおさえてください。

しかもさらに驚くべきことに、「文字」の定義はなんと4通りも存在します。何byteか、何単位か、何コードポイントか、何書記素クラスタか、の4つです。
C++標準化委員会、ついに文字とは何かを理解する: char8_t#Unicodeにおける4つの文字の定義
自分が意図している文字の定義はいったいどれなのか把握する必要があります。

文字は直接は計算機で扱えません。そこで特定のbyte列に変換して取り扱います。この方法が文字エンコードです。近年日本語圏で使われているのはUTF-8(cp65001)、ついでShift-JIS(cp932)です。まずはどの文字エンコードでエンコードされたbyte列を取り扱おうとしているかを把握する必要があります。

とはいえ、Visual Studioに付属のC++コンパイラであるcl.exeに限定してもなお、コンパイラオプション次第で多様な文字エンコードを利用できます。

ここまで見てくればわかるように、コンピュータで文字を取り扱うのは全くかんたんではありません。たかが「あいうえお」が何文字かを考えるだけでも考慮しないといけないことが山のようにあるのです。

ここで文字エンコードがUTF-8であることを保証された文字(列)リテラルがC++11/C++17で追加されています。これを使ってみましょう。

//今まで使ってきたもの
"あいうえお";//長さは実装依存、const char[N]型
//今回紹介するもの
u8"あいうえお";//UTF-8でエンコードされている。C++17まではconst char[16]型、C++20からconst char8_t[16]型

さて、今回はひとまず一文字の定義を何codepointか、にすることとしましょう。書記素クラスタまで考えると難しすぎます。絵文字とか濁点がついたものがとりあえず出てこないのでこれで十分でしょう

UTF-8は先頭のbyteを検査することでその1文字が何byte使用しているかわかるようになっています。この性質を利用して質問にあったことを実現してみましょう。

#include <iostream>
#include <cstring>
#if !defined(__cpp_char8_t)
using char8_t = char;
#endif
std::size_t charlen(const char8_t* s)
{
  if (*s == 0) {
  } else if ((*s & 0x80) == 0) {
    return 1u;
  } else if ((*s & 0xE0) == 0xC0) {
    return 2u;
  } else if ((*s & 0xF0) == 0xE0) {
    return 3u;
  } else if ((*s & 0xF8) == 0xF0) {
    return 4u;
  }
  return 0;
}
int main()
{
    const auto str = u8"あいうえお";
    std::size_t front_i = 0, len = 0;
    for (std::size_t i = 0; i < 2; ++i, front_i += len = charlen(&str[front_i]));
    char8_t dest[5];
    std::memcpy(dest, &str[front_i], len);
    dest[len] = u8'\0';
    //コンソールの文字エンコードがUTF-8だと仮定する
    std::cout << reinterpret_cast<const char*>(dest) << std::endl;
}

https://wandbox.org/permlink/BIkWAMmrI0t1KHa6

Windowsで動作させるときはWindows 10 1607よりあとのOSで、あらかじめchcp 65001したコマンドプロンプトで実行してください。

なお余談ですが、C++がCから受け継いだ文字列操作系関数はいくつもありますが、このうち多くの関数が安全に使うのが難しいものです。実際MSVCでは_CRT_SECURE_NO_WARNINGSなしではそれらの関数に警告を出すはずです。なのでもしC言語のような文字操作をするなら、memcpyを利用すると良いです。strcpyと違い、文字数より一つ多くバッファを確保しなければならないことを忘れる懸念は自分で明示的にNULL文字を代入しますから減りますし、実際MSVCは何も言ってきません。

しかしまあ、せっかくC++を使うのですからもう少しだけC++っぽく扱ってみましょう。std::basic_stringとC++17で追加されたstd::basic_string_viewを使います。std::basic_string_viewを使ってstd::basic_stringを構築するときに勝手にNULL文字終端する性質を利用しています。

#include <iostream>
#include <string>
#include <string_view>
#include <stdexcept>
#if !defined(__cpp_char8_t)
using char8_t = char;
#endif
std::size_t charlen(const char8_t* s)
{
  if (*s == 0) {
  } else if ((*s & 0x80) == 0) {
    return 1u;
  } else if ((*s & 0xE0) == 0xC0) {
    return 2u;
  } else if ((*s & 0xF0) == 0xE0) {
    return 3u;
  } else if ((*s & 0xF8) == 0xF0) {
    return 4u;
  }
  return 0;
}
auto extract_nth_char(std::basic_string_view<char8_t> s, std::size_t n)
{
    std::size_t front_i = 0, len = 0, limit = n ? n - 1 : throw std::invalid_argument("0 is invalid");
    for (std::size_t i = 0; i < limit; ++i, front_i += len = charlen(&s.data()[front_i]));
    return s.substr(front_i, len);
}
int main()
{
    using namespace std::literals;
    const auto str = u8"あいうえお"sv;//string_viewになる
    //std::basic_stringに変換することでNULL終端する
    const std::basic_string<char8_t> dest{extract_nth_char(str, 3)};
    //コンソールの文字エンコードがUTF-8だと仮定する
    std::cout << reinterpret_cast<const char*>(dest.c_str()) << std::endl;
}

https://wandbox.org/permlink/sSSbwj1fHIyB06jH

なおより本格的に扱う場合はicuというライブラリを利用します。

参照

• C++標準化委員会、ついに文字とは何かを理解する: char8_t
• UTF-8エンコーディングされた文字の型としてchar8_tを追加 - cpprefjp C++日本語リファレンス
• UTF-8文字リテラル - cpprefjp C++日本語リファレンス
• UTF-8文字列リテラル - cpprefjp C++日本語リファレンス
• svリテラル - cpprefjp C++日本語リファレンス
• basic_string_view::substr - cpprefjp C++日本語リファレンス
• basic_string::コンストラクタ - cpprefjp C++日本語リファレンス (14)のコンストラクタを呼び出している

Answer 2

wchar_t1つで一文字を表せない文字を使用しないのであれば…

#define _CRT_SECURE_NO_WARNINGS
#include<stdio.h>
#include <string.h>
#include <locale.h>
int main(void) {
	setlocale(LC_ALL, "Japanese");
	wchar_t str[200] = L"あいうえお";
	wchar_t buff[1000] = {};
	wcsncpy(buff, str + 2, 1);
	wprintf(L"%s\n", buff);
	return 0;
}

Comments

[yumetodo]

補足しておくと、Windows環境でwchar_tといえばUTF-16を指します。wchar_t1つで一文字を表せないとは、ほしい一文字の定義が1コードポイントならば、サロゲートペアのことですね。

[SHOMI]

補足ありがとうございます。

Answer 3

Cが出来た頃は、コンピュータで扱う文字は当然にアルファベット、数字と一部記号だけでした。
なので、Cでは一文字というのはつまりそういう文字のことを意味します。
そして、char型は、それらの文字を格納するのに十分なサイズをもった整数型の変数、というのがCにおける定義です。

その後、コンピュータの能力は向上し応用範囲は広がって、英語圏以外の文字も扱えるようになりました。当然ながら、アルファベットにしか対応していないchar型の一文字分では、例えば日本語の一文字を格納することは不可能です。

ということで、日本語の一文字を一文字として扱いたいならば、C(その発展形としてのC++)での一文字(=アルファベット等)という扱いに頼らずに自分で「一文字」を定義し、処理する必要が出てきます。
その意味では、C++の「基本機能では」文字列から一文字を取り出すことは出来ない、と言っていいでしょう。

さらに面倒なことに、コンピュータが各国言語に対応するときの諸般の事情によって、日本語の文字とコンピュータ上で扱うときのデータ表の対応に複数のものが存在する、というややこしい状況になってしまいました。
自分で「一文字」を処理するにも、自分が扱おうとしている「日本語」はどういう対応表(文字コード表)に依っているかを知らないといけない、という状況になっています。

もちろん、いろいろあるとは言え文字コード表として流通するものには限られた種類しかありませんから、先人たちがそのへんの処理はさんざんやっていて「ライブラリ」としてまとまっているものもあります。プログラムを作るのが目的であればそういうライブラリを使うのがよいかと思います。

ただ、今回の質問については雰囲気が「学習用」に見えます。であるならば、上記の事情を自分で理解するために、日本語の「あいうえお」がコンピュータ上でどう扱われているのかを調べたうえで「一文字をとりだす」処理を書けるようになるのがあなたのミッションではないかと思うのですがいかがでしょうか。

Answer 4

#include <stdio.h>   // printf, putchar
#include <stdlib.h>  // mblen, MB_CUR_MAX
#include <locale.h>  // setlocale, LC_CTYPE

int main(void)
{
	char str[32] = "あいうえお";

	setlocale(LC_CTYPE, "");
	for (int n, i = 0; str[i]; i += n) {
		n = mblen(str + i, MB_CUR_MAX);
		printf("[%.*s] ", n, str + i);
	}
	putchar('\n');
}

#include <stdio.h>   // printf, putchar
#include <string.h>  // strlen
#include <stdlib.h>  // mbstowcs
#include <locale.h>  // setlocale

int main(void)
{
	char str[32] = "あいうえお";
	wchar_t wstr[32];

	setlocale(LC_CTYPE, "");
	mbstowcs(wstr, str, strlen(str) + 1);
	for (int i = 0; wstr[i]; i++)
		printf("[%lc] ", wstr[i]);
	putchar('\n');
}

理解できない場合は、どこが分からないのかを質問してください。

Comments

[yumetodo]

localeはこわれている環境もあるので(mingwとかとか)まあ動くとは限らないでしょう。

Answer 5

文字コードは、シフトJISのようですね。
この場合、str[200] は、
{ 0x80, 0xA0, 0x80, 0xA2, 0x80, 0xA4, 0x80, 0xA6, 0x80, 0xA8, 0x00 } となっています。

このデータに対して、strncpy()で、str[3]からstr[6]まで、つまり、
{ 0xA2, 0x80, 0xA4 } とbuffにコピーしています。
シフトJISで文字コード0xA2は、"「"(厳密には半角)になりますので、"「う"と表示されます。

修正は、以上の意味を確認できれば可能ですので、省略させていただきます。

Comments

[aus98266]

char str[200] = "あいうえお"
これでchar strの0~4までの配列にあいうえおを入れていることにはならないんですね

[YT0014]

厳密に言うと、ご利用のC++のコンパイラで、シフトJISを用いる場合、に限定されます。
charは、8ビットとは限らないですし、UTF-8の場合、'あ'は、0xE3,0x81,0x82と3バイトになります。
C 及び C++ は、OSを作成する為の言語として作られた経緯があるため、CPUの仕様に合うように、charやintのサイズを調整することが多いです。

[aus98266]

じゃあ上のコードのstrncpy()を変えて”う”の部分の文字コードだけをコピーしてそれを変換して”う”にすればよいのですね

[YT0014]

strncpy()の引数を調整するだけで、変換は不要です。
文字コード、というのは、我々が文字と思っているデータの数字としての側面です。

Answer 6

文字コードは何でしょうか？

• シフトJISの場合、str+3はいの2バイト目に当たります。
• UTF-8の場合、str+3はいの位置です。

どちらにしても、うを取り出すという動作はしないかと思います。

Comments

[aus98266]

うという文字を取り出すにはどうしたらよいのでしょうか？