SHIFT_JISのプレインテクストがUTF-8に変換できない

Question

前提・実現したいこと

axiosで取得したSHIFT_JISでエンコードされたプレインテクストがコンソールでちゃんと表示されないので、エンコードをUTF-8に変更したい。

発生している問題・エラーメッセージ

文字化けが発生してる。
iconv等ググって見つかったやり方を試しているが、文字化けが全く治らない。

該当のソースコード

(ひとつめ)
 const axios = require('axios');
 const iconv = require('iconv-lite');
axios.get("http://awabi.2ch.sc/news4plus/subject.txt").then(res => {
      const text = res.data
      const buf = new Buffer(text, "SHIFT_JIS")
      const str = iconv.decode(buf, "UTF-8")
      console.log(str)
})

(ふたつめ)
 const axios = require('axios');
 const jconv = require('jconv');
 axios.get("http://awabi.2ch.sc/news4plus/subject.txt").then(res => {
      const text = res.data
      const convert = jconv.convert(res.data, "SJIS", "UTF8")
      console.log(convert)
      const text2 = jconv.decode(convert, "UTF")
      console.log(text2)
    }).catch(e => {console.log(e)})
})

試したこと

他にもいろいろ試しましたが、ダメでした。

補足情報（FW/ツールのバージョンなど）

試した環境
ローカル環境のWindows10でNodeJS最新版
DigitalOceanのUbuntuマシン
など

最後に

お忙しいなか、ありがとうございます。
よろしくお願いいたします。

###解決しました
すみません、解決しました。
axiosが取得したデータをUTF-8であると勝手に決めつけて、デコードしてしまっていたようです。
StackOverflowのこれで解決しました。
https://stackoverflow.com/questions/12040643/nodejs-encoding-using-request

みなさん、ご知見を共有していただきありがとうございました。

Answer 1

サーバーからascii/utf-8以外でエンコードされた応答をどう扱うかという観点で試してみました。

axiosで取得したSHIFT_JISでエンコードされたプレインテクストがコンソールでちゃんと表示されない

コンソールで文字化けが起きているというより、レスポンスを受信した時点でSHIFT_JISのテキストが(文字エンコーディングを無視してutf-8として)stringへ変換されているのが原因だと思います。

Shift-JISなどのascii/utf-8以外の文字エンコーディングをstringへ強引に変換してしまうと、ascii以外の範囲の文字はU+FFFD(変換不能文字としてよく使われる文字?)にマッピングされてしまったり変換エラーを起こしたりすると思います。

Node.js(あるいはECMAScript)の文字列は内部がUTF-16となっており外部とのやりとりをする際に使える文字エンコーディングは「ascii、utf-8、以上！」みたいなところがあるのでShift-JISなどのエンコーディングのバイト列は生のバイナリーデータとしてiconv-liteなどへ与えてやれば正しく解釈できますが、それをする前にどこかでstringにうっかり(というより無理やり?)変換されてしまうと、最早正しい解釈が不可能になってしまいます。

実際、get(...).then(res => ...)のthen部でtypeof res.dataをログに出してみたところstringになってましたので、then部でどう頑張っても正しい結果は得られないと思います。

つまりaxiosでレスポンスをバイナリーとして得られるようにするのが第一歩かと思います。さて、以下を見ますと

https://github.com/axios/axios

// 'responseType' indicates the type of data that the server will respond with
// options are 'arraybuffer', 'blob', 'document', 'json', 'text', 'stream'
responseType: 'json', // default

とかいてあり、axiosはデフォルトでレスポンスをjsonとしてパースするようです。jsonというぐらいですから入力はどこかでテキストとして(つまりstringとして)解釈されるでしょうから、これではまずそうです。

他のオプションをみるとarraybufferなどバイナリーを受け取れそうなものがあるようですのでとりあえずそれらを使うとよいと思います。試しにarraybufferとしてみると先ほどのthen部でres.data.constructor.nameがBufferに変わりましたのでこれならiconv-liteで変換できると思います。

const iconv = require('iconv-lite')
const axios = require('axios').create({
  'responseType': 'arraybuffer'
})

const url = "http:..."

axios.get(url).then(res => {
  const str = iconv.decode(res.data, "Shift-JIS")
  console.log(`res.data = '${str.substring(0, 80)}'`)
})

上記は決め打ちでShift-JISを仮定してますが、真面目にやるには応答のcontent-type属性のcharsetなどをみてどのエンコーディングかを判断しつつ適切にデコードすべきなのだろうと思います。

Answer 2

「shift-jis」や「sjis」を「cp932」に変えて試してみてください。

• Shift_JIS と Windows-31J (MS932) の違いを整理してみよう

node.jsは知りませんが、少なくともコマンドラインでのiconvで「﨑」の文字を含むutf-8のテキストファイルを変換しようとした場合、「cp932」ではコンバートできましたが、「shift_jis」ではエラーになりました。

$ iconv -f utf-8 -t cp932 a.txt > a.cp932
$ iconv -f utf-8 -t shift_jis a.txt > a.sjis
iconv: 位置 0 に不正な入力シーケンスがあります

Comments

[KSwordOfHaste]

少なくとも質問者さんのアクセスしているURLの応答には
×：iconv -f Shift_JIS -t utf8
〇：iconv -f cp932 -t utf8
のような文字は含まれてませんでした。
レスポンスはcontent-type: text/html; charset=Shift_JISですけどそんな場合、cp932が正しいデコーダーであると仮定できるのでしょうか？つまり本来はcharset=cp932などとすべきなのにサーバーがcharset=Shift_JISで応答することがよくあるみたいな？

[NANASHI-TAROU]

すみません、解決しました。
axiosが取得したデータをUTF-8であると勝手に決めつけて、デコードしてしまっていたようです。
StackOverflowのこれで解決しました。
https://stackoverflow.com/questions/12040643/nodejs-encoding-using-request

[katsuko]

httpレスポンスのcharsetはShift_JIS(もしくはその別名)しかないと思ってましたけど、調べてみたら「Windows-31J」や「cp932」(ただし非IANAらしい)もあるんですね。
見た事なかったので、知らなかった。

[KSwordOfHaste]

ShiftJIS系の取り扱いは難しいですよね。Windows31-Jだったり932だったりCP932だったりJavaだとMS932だったりその意味を把握するだけで一苦労です＞＜

[katsuko]

全く同意ですｗ

Answer 3

一応、コンソール上では、普通に文字列として表示はされてました（macOS Chrome

const axios = require('axios');
const iconv = require('iconv-lite');

axios.get('./sjis.txt', {
  responseType      : 'arraybuffer',
  transformResponse : (data) => {
    const sjis = new Buffer(data, "SHIFT_JIS");
    const utf8 = iconv.decode(sjis, "SHIFT_JIS");
    return utf8;
  },
})
  .then((res) => {
    console.log(res.data);
  });

axios内部でXMLHttpRequest.overrideMimeTypeメソッドが実行できれば、手っ取く出来そうなのですが。。。

Comments

[KSwordOfHaste]

responseTypeはgetメソッドのオプションにも指定できたんですね！

ちなみにnew Buffer(data, encoding)はdataがstringの際にそれをどう解釈するかで用いられる気がします。ここではdataがBuffer（バイナリー）なので、new Buffer(data, "SHIFT_JIS")としてもencodingは解釈されず単に無視されるのではないでしょうか？実際に
(data) => {
　const utf8 = iconv.decode(data, "SHIFT_JIS")
　return utf8
}
とやっても同じ結果になるのではないでしょうか？

Answer 4

Ubuntu(Linux系)であればnkfコマンドで変換可能なので、コマンドの実行結果を受け取るようにすればなんとか.

Answer 5

windowsであれば、桜エディタで変換できますよ。
保存時に、文字コードセットを指定すればよいかと。

Comments

[NANASHI-TAROU]

ご回答ありがとうございます。
自分が作っているソフトウェアの一部なので、それでは少し難しいです。