fs.createReadStreamで文字コードをshift-jisからutf-8に変換して出力したい

下記コードです。
fs.createReadStreamでsample.tsvを読み込んで出力しているのですが、tsvを出力した際に文字化けしてしまっています。
そのためiconv-liteを使用して文字コード変換してから出力をしたいと考えているのですが、下記コードで実行するとうまくいきません。

node script.jsで実行しても空白の出力で返ってきてしまう状態です。
良い解決方法がありましたらご教授いただけますと幸いです。

javascript
1const fs = require('fs')
2const csv = require('./node_modules/csv')
3const iconv = require('./node_modules/iconv-lite');
4
5const parser = csv.parse({ trim: true }, function (err, data) {
6      const buf    = new Buffer.from(data, 'binary');
7      const retStr = iconv.decode(buf, "Shift_JIS");
8      console.log(retStr);
9});
10fs.createReadStream(__dirname + '/files/sample.tsv').pipe(parser);

行動規範の内容に同意します

回答1件

ベストアンサー

優先順位が間違っています。
質問文のコードではファイル開いて真っ先にCSVの解析にかけていますが
真っ先にiconv.decodeでShift-JISをUTF-8にするすべきです。

そうでなきゃダメ文字等で勝手にエスケープとして使われる\記号が混入することになるので、どうなるかわかりません。

またNode.jsで実装されているStreamは難解なので出来れば避けましょう。
fs.readFileSync等で超巨大なファイルを読んでメモリが枯渇してエラー吐いて落ちるパターンがありますが
Streamを使って超巨大なファイルを先頭から少しずつ読み、
少量のバイト文字列を別の関数に流し込んでいくというバケツリレー作戦を取ることで解決する手法です。

その超巨大なファイルでもなければStreamを使う意味がありません。
Buffer型として一気に読み込んでしまったほうが楽です。
これを踏まえてこのようにしてしまってはどうでしょうか？

csvライブラリのサイトを見たら
パースしたいだけならcsv-parser使ってどうぞみたいな表記とともに同期処理の手順が例としてあったのでそちらに変更しています。

bash
1$ npm install csv-parser

js
1const fs = require('fs');
2const {parse} = require('csv-parse/sync');
3// 現在のディレクトリを指す.始まりで無い限り、勝手にnode_modulesを探すので不要
4const iconv = require('iconv-lite');
5
6const bin = fs.readFileSync(__dirname + '/files/sample.tsv');
7// Shift-JISといっても候補が色々あるんだよなぁ、CP932とか……まぁ色々試してみて
8const utf8 = iconv.decode(bin, "Shift_JIS");
9// TSVなら区切り文字\t指定で行けるんかね？
10const tsv = parse(utf8, {delimiter: "\t"});