C++のlibcurlでGETリクエストをすると文字化けする

Question

libcurlでGETメソッドを使い、日本語が含まれているサイトにリクエストをすると日本語が文字化けしてしまいます。

発生している問題・エラーメッセージ

あまりにも長文になってしまうので、文字化けしている部分の切り抜きです。

<meta property="og:title" content="繧ｨ繝ｳ繧ｸ繝九い縺ｫ髢｢縺吶ｋ遏･隴倥ｒ險倬鹸繝ｻ蜈ｱ譛峨☆繧九◆繧√・繧ｵ繝ｼ繝薙せ - Qiita">

該当のソースコード

#include <stdio.h>
#include <iostream>
#include <string>
#include <curl/curl.h>

#include <fstream>

using namespace std;


size_t write_data(void* ptr, size_t size, size_t nmemb, string* data) {
    data->append((char*)ptr, size * nmemb);
    return size * nmemb;
}

int main() {
    CURL* curl;
    CURLcode res;

    string buffer;

    curl_slist* headers = NULL;

    curl = curl_easy_init();

    if (curl) {
		curl_easy_setopt(curl, CURLOPT_URL, "https://qiita.com/");
		curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, write_data);
		curl_easy_setopt(curl, CURLOPT_WRITEDATA, &buffer);
        curl_easy_setopt(curl, CURLOPT_HTTPHEADER, headers);
        headers = curl_slist_append(headers, "Accept-Charset: utf-8");
        curl_easy_setopt(curl, CURLOPT_ACCEPT_ENCODING, "utf-8");
		res = curl_easy_perform(curl);
		curl_easy_cleanup(curl);

    }

    cout << buffer << endl;

    return 0;
}

試したこと

この部分の追加

headers = curl_slist_append(headers, "Accept-Charset: utf-8");
curl_easy_setopt(curl, CURLOPT_ACCEPT_ENCODING, "utf-8");

補足情報（バージョンなど）

OS: Windows 10
Visual Studio 2022
C++98

Comments

[dameo]

文字化けの意味が明確じゃありません。Linuxで試したところ、正しくutf-8が返っています。
(追記)
伝わってないかもしれませんね。例えば、コマンドプロンプト上でデフォルトの設定(cp932)のままutf-8を標準出力に垂れ流せば文字化けしますが、それはlibcurlと何の関係もない端末及びその設定の問題です。

Answer 1

おそらく curl での取得自体は成功しています。

Windows のコンソールは設定されているコードページに従って文字コードを解釈します。 日本語で Windows を使っているなら普通は 932 に設定されていて、これはいわゆる Shift_JIS です。 一般的にウェブサイトは UTF-8 で書かれており、それをコンソールが Shift_JIS のつもりで解釈して表示するので結果的に化けた状態になります。

符号の性質上、繧や繝は UTF-8 を Shift_JIS として解釈したときに頻出する文字なのでわかりやすいです。

これを解決するにはいくつか方法がありますが歴史的事情によって一長一短があります。

Shift_JIS に変換する

Shift_JIS として解釈されるので Shift_JIS に変換して出力するというのは最も単純な考え方です。

ただし、コンソールの側の設定が異なるときは化けてしまいます。 また、 Unicode に有って Shift_JIS に無い文字というものもたくさんあるのでそのような文字が含まれる場合にはまともに表示できません。

コンソール側の設定を変える

chcp 65001 コマンドでコンソールのコードページを UTF-8 に切り替えることが出来ます。 UTF-8 で出力したものが UTF-8 で解釈されるようになるので意図したとおり表示されるでしょう。

自分以外が使うプログラムでユーザに対して設定を切り替えてもらわないといけないというのはちょっと困るかもしれません。

コンソールAPIを使う

標準出力の実体はプロセス間通信の一種ですが、標準出力を経由せずにコンソールの読み書きをする API (いわゆるコンソール API)も用意されており、これを使えばコンソールの設定に左右されずに表示することが出来ます。

ただし API は UTF-16 を使うことになっているので元が UTF-8 なら変換は必要です。 また、コードページの設定には左右されませんがフォント設定の影響は受けるので設定されているフォント内に表示しようとする文字のグリフが格納されていなければ思ったように表示されないかもしれません。

また、コンソール API は直接的にコンソールに書き込むのでリダイレクトは出来なくなります。