libcurlでGETメソッドを使い、日本語が含まれているサイトにリクエストをすると日本語が文字化けしてしまいます。

発生している問題・エラーメッセージ

あまりにも長文になってしまうので、文字化けしている部分の切り抜きです。

<meta property="og:title" content="繧ｨ繝ｳ繧ｸ繝九い縺ｫ髢｢縺吶ｋ遏･隴倥ｒ險倬鹸繝ｻ蜈ｱ譛峨☆繧九◆繧√・繧ｵ繝ｼ繝薙せ - Qiita">

該当のソースコード

C++
1#include <stdio.h>
2#include <iostream>
3#include <string>
4#include <curl/curl.h>
5
6#include <fstream>
7
8using namespace std;
9
10
11size_t write_data(void* ptr, size_t size, size_t nmemb, string* data) {
12    data->append((char*)ptr, size * nmemb);
13    return size * nmemb;
14}
15
16int main() {
17    CURL* curl;
18    CURLcode res;
19
20    string buffer;
21
22    curl_slist* headers = NULL;
23
24    curl = curl_easy_init();
25
26    if (curl) {
27		curl_easy_setopt(curl, CURLOPT_URL, "https://qiita.com/");
28		curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, write_data);
29		curl_easy_setopt(curl, CURLOPT_WRITEDATA, &buffer);
30        curl_easy_setopt(curl, CURLOPT_HTTPHEADER, headers);
31        headers = curl_slist_append(headers, "Accept-Charset: utf-8");
32        curl_easy_setopt(curl, CURLOPT_ACCEPT_ENCODING, "utf-8");
33		res = curl_easy_perform(curl);
34		curl_easy_cleanup(curl);
35
36    }
37
38    cout << buffer << endl;
39
40    return 0;
41}

試したこと

この部分の追加

C++
1headers = curl_slist_append(headers, "Accept-Charset: utf-8");
2curl_easy_setopt(curl, CURLOPT_ACCEPT_ENCODING, "utf-8");

補足情報（バージョンなど）

OS: Windows 10
Visual Studio 2022
C++98

dameo

2023/01/27 22:57 編集

文字化けの意味が明確じゃありません。Linuxで試したところ、正しくutf-8が返っています。 (追記) 伝わってないかもしれませんね。例えば、コマンドプロンプト上でデフォルトの設定(cp932)のままutf-8を標準出力に垂れ流せば文字化けしますが、それはlibcurlと何の関係もない端末及びその設定の問題です。

行動規範の内容に同意します

回答1件

ベストアンサー

おそらく curl での取得自体は成功しています。

Windows のコンソールは設定されているコードページに従って文字コードを解釈します。日本語で Windows を使っているなら普通は 932 に設定されていて、これはいわゆる Shift_JIS です。一般的にウェブサイトは UTF-8 で書かれており、それをコンソールが Shift_JIS のつもりで解釈して表示するので結果的に化けた状態になります。

符号の性質上、繧や繝は UTF-8 を Shift_JIS として解釈したときに頻出する文字なのでわかりやすいです。

これを解決するにはいくつか方法がありますが歴史的事情によって一長一短があります。