encoding japaneseで文字列から、変換された文字コードの文字列を取得する

Question

https://www.npmjs.com/package/encoding-japanese

こちらのライブりを使って、変数に格納されたSJISの文字列をUTF8の文字列に変換しようとしたのですが、うまくできませんでした...。

let text = 'あ' // 実際textはエクセルからインポートされた文字列でSJISです
text = Encoding.convert(text, { to: 'UTF8', from: 'SJIS', type: 'string' })

はじめこれでできるのかなと思ったのですが、"?"が返ってきます。
こちらのページでは文字列は

var utf8String = 'ã\u0081\u0093ã\u0082\u0093ã\u0081«ã\u0081¡ã\u0081¯';

こんな風になってます。
これは一体どういった形式なのでしょうか。

textをこの形式に一旦変換してからEncoding.convertしてみようかなと思うのですが、それは可能なのでしょうか。

---

追記

// textはSJISの"あ"

text = convertSjisStrToUtf8Str(text) // => [63]

const convertSjisStrToUtf8Str = (sjisStr) => {
  let ary = []
  for (let index = 0; index < sjisStr.length; index++) {
    ary.push(sjisStr.charCodeAt(index))
  }
  return Encoding.convert(ary, 'UNICODE', 'SJIS')
}

---

追記
SJISのファイルの作り方

// 参考サイト
// https://photo-tea.com/p/17/nodejs-write-excel-tsv-csv/
// fsじゃなくてfs-extraを使ってます
import * as fs from 'fs-extra'
import iconv from 'iconv-lite'
let csvStr = 'あ'
fs.writeFileSync(outputFilePath, '')
let fd = fs.openSync(outputFilePath, 'w')
let buf = iconv.encode(csvStr, 'Shift_JIS')
await fs.writeSync(fd, buf, 0, buf.length)

Comments

[Lhankor_Mhy]

「実際textはエクセルからインポートされた文字列でSJISです」とありますが、textの型はなんですか？

[退会済みユーザー]

ストリングです！
内部的なデータ形式がSJISになってます。

[退会済みユーザー]

なのでそのまま画面に出すと文字化けします

[Lhankor_Mhy]

当該ライブラリのexampleにあるように、UNICODEで書き出すのではダメなのですか？

[退会済みユーザー]

大丈夫です。
追記も加えてみたので良かったらみてみてください...。

[退会済みユーザー]

でも文字化け後のテキストから本来のテキストを取り出すのは無理という記事も見つけました
http://var.blog.jp/archives/71651044.html

[退会済みユーザー]

csvからのデータのインポートからやり直さなければいけないのでしょうか
ちなみにデータのインポートは

https://www.npmjs.com/package/csvtojson

こちらのライブラリを使っております...

[Lhankor_Mhy]

当方とは違う結果でした。
textの中身がなんか違いそうですね……

[退会済みユーザー]

なるほどです
csvファイルの作り方を追記します
そっちに問題があるのかもしれないです

[Lhankor_Mhy]

あ、text.length が 1 なんじゃないですかね？
だとすると、Uint16Arrayで受けて、Arraybuffer にするのはどうでしょう？

[退会済みユーザー]

すみません、
Uint16Arrayで受ける?とはどのような意味でしょうか(T_T)

[退会済みユーザー]

https://gist.github.com/kawanet/352a2ed1d1656816b2bc

記事見つけました、すみません...

[退会済みユーザー]

すみません、ちょっと使い方が分かりません(T_T)

Answer 1

これはどうでしょう？

text = '\u82a0'; // shift-jis ”あ”

let ary = new Uint16Array(1);
ary[0] = text.charCodeAt(0);
let unicodeArray = Encoding.convert(new Uint8Array(ary.buffer), { to: 'UNICODE', from: 'SJIS'})
console.log( Encoding.codeToString(unicodeArray) );
// あ

Comments

[退会済みユーザー]

すみません、もともと取り込んだ時点で文字化けがされていて、''\u82a0''そもそもこのような形のデータがありませんでした。
そこで文字化けする前の生のバイナリデータに対してデコードすることで対処できました。

let csvStr = await fs.readFileSync(filePath)
let decodedCsvStr = iconv.decode(csvStr, 'windows-31j')

これでできました。
一緒にすごい考えてくださり、本当にありがとうございました。

[Lhankor_Mhy]

それはその方がいいですね（ｗ
ご解決されて何よりです。