Visual StudioにおけるC++の文字化け

Question

実現したいこと

プログラミング初学者です。
日本株のデータ収集および分析のためのプログラムを作成したいと思い、
kabuステーションAPI 　https://kabucom.github.io/kabusapi/reference/index.html
を用いて、C++プログラムの開発を試みています。
トークンを取得することは出来たのですが、そのトークンを用いて先物銘柄コードの取得を取得を試みた際に、実行結果に文字化けが発生してしまいました。

発生している問題・分からないこと

実行結果の一部が文字化けしております。（Tokenの値は一部変更しております。）

API Response: {"ResultCode":0,"Token":"f4efee8659b7d089173f9a51bd"}
Retrieved API Token: f4efee865bea4cc9b7d0a51bd
API Response: {"Symbol":"169090018","SymbolName":"譌･邨悟ｹｳ蝮・・迚ｩ 24/09"}
Retrieved Future Symbol: {"Symbol":"169090018","SymbolName":"譌･邨悟ｹｳ蝮・・迚ｩ 24/09"}

該当のソースコード

#include <iostream>
#include "token_fetcher.h"
#include "future_symbol_fetcher.h"

int main() {
    std::string apiPassword = "";  /*blank for public access*/
    TokenFetcher tokenFetcher(apiPassword);

    std::string token = tokenFetcher.getApiToken();
    std::cout << "Retrieved API Token: " << token << std::endl;

    FutureSymbolFetcher futureSymbolFetcher(token);
    std::string futureCode = "NK225";   
    std::string derivMonth = "202409";  

    std::string futureSymbol = futureSymbolFetcher.getFutureSymbol(futureCode, derivMonth);
    std::cout << "Retrieved Future Symbol: " << futureSymbol << std::endl;

    return 0;
}


}

#include "future_symbol_fetcher.h"
#include <iostream>
#include <cstring>
#include <cstdlib>

FutureSymbolFetcher::FutureSymbolFetcher(const std::string& apiToken) : apiToken(apiToken) {}

FutureSymbolFetcher::~FutureSymbolFetcher() {}

size_t FutureSymbolFetcher::WriteMemoryCallback(void* contents, size_t size, size_t nmemb, void* userp) {
    size_t realsize = size * nmemb;
    struct MemoryStruct* mem = (struct MemoryStruct*)userp;

    char* ptr = (char*)realloc(mem->memory, mem->size + realsize + 1);
    if (ptr == NULL) {
        std::cerr << "Not enough memory (realloc returned NULL)\n";
        return 0;
    }

    mem->memory = ptr;
    std::memcpy(&(mem->memory[mem->size]), contents, realsize);
    mem->size += realsize;
    mem->memory[mem->size] = 0;

    return realsize;
}

std::string FutureSymbolFetcher::getFutureSymbol(const std::string& futureCode, const std::string& derivMonth) {
    CURL* curl;
    CURLcode res;
    struct curl_slist* headers = NULL;
    struct MemoryStruct chunk;

    chunk.memory = (char*)malloc(1);
    chunk.size = 0;

    curl_global_init(CURL_GLOBAL_DEFAULT);
    curl = curl_easy_init();

    if (curl) {
        std::string apiUrl = apiUrlBase + "?FutureCode=" + futureCode + "&DerivMonth=" + derivMonth;

        headers = curl_slist_append(headers, ("X-API-KEY: " + apiToken).c_str());

        curl_easy_setopt(curl, CURLOPT_URL, apiUrl.c_str());
        curl_easy_setopt(curl, CURLOPT_HTTPHEADER, headers);
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteMemoryCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, (void*)&chunk);

        res = curl_easy_perform(curl);

        if (res != CURLE_OK) {
            std::cerr << "curl_easy_perform() failed: " << curl_easy_strerror(res) << std::endl;
        }
        else {
            std::cout << "API Response: " << chunk.memory << std::endl;
        }

        curl_easy_cleanup(curl);
        curl_slist_free_all(headers);
    }

    curl_global_cleanup();

    std::string futureSymbol(chunk.memory);
    free(chunk.memory);

    return futureSymbol;
}

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

・構成プロパティ＞C/C++＞コマンドライン＞追加のオプション
に「/utf-8」を追加しました。
→実行結果に変化なし

・future_symbol_fetcher.cppについて、
ファイル＞名前を付けて future_symbol_fetcher.cpp を保存＞エンコード付きで保存＞
にて、エンコードをUnicode（UTF-8　シグネチャ付き）　コードページ　65001で保存
→実行結果に変化なし

補足

main.cppファイルのソースコードをすべてコメントアウトし、以下のプログラムを実行した場合にも、文字化けが発生しています。
//#include <iostream>
//
//int main() {
// std::cout << "有難うございます" << std::endl;
//

しかし、別のプロジェクトを立ち上げ、上記のプログラムを実行した場合は文字化けが発生していません。

Comments

[hiroki-o]

UTF-8をShift_JISで開いた時の文字化けですね。(表示したいテキストは、日経平均先物)

[johnwick]

.editorconfigでcharset utf-8-bom 指定するのが楽な解決方法な気もします

Answer 1

Windows 11で確認しました。

提示の環境の場合、std::stringにはUTF-8で格納されていますが、std::coutした先のコマンドプロンプトのデフォルトがShift_JISのため、文字化けしています。
コマンドプロンプトをUTF-8に変更するには

chcp 65001

と叩きます。元のShift_JISに戻すには、コマンドプロンプトを開き直すか、

chcp 932

と叩きます。

Visual Studioのプロジェクトの設定を何も変更せずに、std::cout<<"～"<<std::endl;した場合はShift_JISなので、別のプロジェクトでは文字化けしなかったのです。

Comments

[jigorw]

早々にご返事いただいたのにも関わらず、お礼が遅くなってしまい申し訳ございません。
hitoki-oさんが回答して下さったことで、問題を解決することが出来ました。

ファイルを追加する過程でエンコードの方法が変わってしまった、とばかりを考えており、コマンドプロンプト側が原因だとは考えてられておりませんでした。
詳細な説明までしていただき、ありがとうございました。

Answer 2

回答ではありません

挙動はランタイムライブラリと端末のコードページ(chcpの設定値、GetConsoleOutputCPの戻り値)の他に、Cのロケール設定(""の場合はシステムロケール設定(GetACPの戻り値))やC++のロケール設定(今回は省略)に依存します。
私の環境はVS2019と古いし、C++のバージョンも確か14相当だと思うので新しいバージョンだと違う可能性が高いですが、色々な状況での出力を残しておきますね。

なお、/utf-8オプションのビルドはソースコードの文字セットの他に、実行時の文字セットも同時指定するオプションです。ソースコードの文字セットは正しく指定されれば何を指定してもバイナリに影響しませんが、実行時の文字セットはバイナリ内に含まれる文字セットも変わるので、実行時の文字セット(/execution-charset)はutf-8にもして試しています。

補足としてu8が付いている文字列リテラルは内部的にソースコードの文字セットをUTF-8に変換したものが入っています。

ご参考までに。

#include <iostream>
#include <clocale>
#include <iomanip>
#include <windows.h>
void print(std::string s) {
    for (char ch : s) {
        std::cout << std::hex << std::setw(2) << std::setfill('0') << static_cast<int>(static_cast<unsigned char>(ch)) << std::dec << " ";
    }
    std::cout << std::endl;
    std::cout << s << std::endl;
}
int main()
{
    auto acp = GetACP();
    auto cp = GetConsoleOutputCP();
    std::cout << "ANSI CP/Terminal CP: " << acp << "/" << cp << std::endl;
    const char* locales[] = { "C", "", ".UTF-8" };
    for (const auto s : locales) {
        std::cout << "===== std::setlocale(LC_CTYPE, \"" << s << "\"); =====" << std::endl;
        auto l = std::setlocale(LC_CTYPE, s);
        std::cout << "current locale: " << l << std::endl;
        print("テスト (normal)");
        print(u8"テスト (utf8)");
    }
    return 0;
}

普通にビルドして実行した場合

端末がCP932だった場合(chcp 932)

ANSI CP/Terminal CP: 932/932
===== std::setlocale(LC_CTYPE, "C"); =====
current locale: C
83 65 83 58 83 67 20 28 6e 6f 72 6d 61 6c 29
テスト (normal)
e3 83 86 e3 82 b9 e3 83 88 20 28 75 74 66 38 29
繝・せ繝・(utf8)
===== std::setlocale(LC_CTYPE, ""); =====
current locale: Japanese_Japan.932
83 65 83 58 83 67 20 28 6e 6f 72 6d 61 6c 29
テスト (normal)
e3 83 86 e3 82 b9 e3 83 88 20 28 75 74 66 38 29
繝・せ繝・(utf8)
===== std::setlocale(LC_CTYPE, ".UTF-8"); =====
current locale: Japanese_Japan.utf8
83 65 83 58 83 67 20 28 6e 6f 72 6d 61 6c 29

e3 83 86 e3 82 b9 e3 83 88 20 28 75 74 66 38 29
テスト (utf8)

端末がCP65001だった場合(chcp 65001)

ANSI CP/Terminal CP: 932/65001
===== std::setlocale(LC_CTYPE, "C"); =====
current locale: C
83 65 83 58 83 67 20 28 6e 6f 72 6d 61 6c 29
eXg (normal)
e3 83 86 e3 82 b9 e3 83 88 20 28 75 74 66 38 29
テスト (utf8)
===== std::setlocale(LC_CTYPE, ""); =====
current locale: Japanese_Japan.932
83 65 83 58 83 67 20 28 6e 6f 72 6d 61 6c 29
テスト (normal)
e3 83 86 e3 82 b9 e3 83 88 20 28 75 74 66 38 29
繝・せ繝・(utf8)
===== std::setlocale(LC_CTYPE, ".UTF-8"); =====
current locale: Japanese_Japan.utf8
83 65 83 58 83 67 20 28 6e 6f 72 6d 61 6c 29

e3 83 86 e3 82 b9 e3 83 88 20 28 75 74 66 38 29
テスト (utf8)

/execution-charset:utf-8 でビルドして実行した場合

端末がCP932だった場合(chcp 932)

ANSI CP/Terminal CP: 932/932
===== std::setlocale(LC_CTYPE, "C"); =====
current locale: C
e3 83 86 e3 82 b9 e3 83 88 20 28 6e 6f 72 6d 61 6c 29
繝・せ繝・(normal)
e3 83 86 e3 82 b9 e3 83 88 20 28 75 74 66 38 29
繝・せ繝・(utf8)
===== std::setlocale(LC_CTYPE, ""); =====
current locale: Japanese_Japan.932
e3 83 86 e3 82 b9 e3 83 88 20 28 6e 6f 72 6d 61 6c 29
繝・せ繝・(normal)
e3 83 86 e3 82 b9 e3 83 88 20 28 75 74 66 38 29
繝・せ繝・(utf8)
===== std::setlocale(LC_CTYPE, ".UTF-8"); =====
current locale: Japanese_Japan.utf8
e3 83 86 e3 82 b9 e3 83 88 20 28 6e 6f 72 6d 61 6c 29
テスト (normal)
e3 83 86 e3 82 b9 e3 83 88 20 28 75 74 66 38 29
テスト (utf8)

端末がCP65001だった場合(chcp 65001)

ANSI CP/Terminal CP: 932/65001
===== std::setlocale(LC_CTYPE, "C"); =====
current locale: C
e3 83 86 e3 82 b9 e3 83 88 20 28 6e 6f 72 6d 61 6c 29
テスト (normal)
e3 83 86 e3 82 b9 e3 83 88 20 28 75 74 66 38 29
テスト (utf8)
===== std::setlocale(LC_CTYPE, ""); =====
current locale: Japanese_Japan.932
e3 83 86 e3 82 b9 e3 83 88 20 28 6e 6f 72 6d 61 6c 29
繝・せ繝・(normal)
e3 83 86 e3 82 b9 e3 83 88 20 28 75 74 66 38 29
繝・せ繝・(utf8)
===== std::setlocale(LC_CTYPE, ".UTF-8"); =====
current locale: Japanese_Japan.utf8
e3 83 86 e3 82 b9 e3 83 88 20 28 6e 6f 72 6d 61 6c 29
テスト (normal)
e3 83 86 e3 82 b9 e3 83 88 20 28 75 74 66 38 29
テスト (utf8)

Comments

[jigorw]

全体の理解が深まる回答をしていただき、ありがとうございます。

ご回答いただけたことで、
端末のコードページ以外にも挙動に関わる要素がある点、と/utf-8オプションにはソースコード・実行時・およびその両方に影響するものがあることを知ることが出来ました。

[退会済みユーザー]

よく読むと
ソースコードはシフトJISのままでも、/execution-charset:utf-8指定することで、
またロケール設定を変更することで、全ての文字列をUTF-8として動作させることができ、端末のコードページに関係なくシフトJISにある文字なら出力できることが分かります。
逆に言うと今度はシフトJISの文字列を処理できなくなるわけですけどね。

C++のロケール設定だとプロセス全体に影響させないような機能もあるのですが、既存の標準機能は特に文字セットの変換に問題があり17で非推奨となり26で削除予定。しかも代替機能が出たという話も聞いておらず、先行き不透明でとても回答に使えるような状態ではありません。

標準でなければいくつかライブラリがあるし、プラットフォーム固有のAPIも利用可能ですが、そこまで行くと質問内容との乖離が大きくなります。で、中途半端ではありますが、こんな記載になっております。そもそもプラットフォーム依存をしたくないのかも分かりませんし、文字化けしたというだけで何をどうしたいのかよく分からなかったですけどね。