csvファイル js読み込み

Question

csvファイルを読み込んでjson化するライブラリを使っています。

https://www.npmjs.com/package/csvtojson

こちらで読み込むと、テキストの改行のうち、一番初めに来る改行が認識されません。
つまり

"あ

い
う"

という文字列が

"あい
う"

として取得されます。

しかも今このテラテイルの質問エディターにコピペして気付いたのですが。
ここにコピペした時も

"あい
う"

となりました。
この"あいう"を含む一行はこんな感じになってます。

1555390651197,true,0,0,"あ
い
う",,0,choices,false,1,あ,true,,0,false

でやっぱり今このエディターにコピぺした瞬間も

1555390651197,true,0,0,"あ
い
う",,0,choices,false,1,あ,true,,0,false

こうなりました。
何か原因が分かる方いらっしゃいますでしょうか。

ちなみに

"あ


い
う"

このように"あ"と"い"の後に空白の改行を入れると、初めて一回の改行として認識されます。
この場合は"あ"と"い"の間には２つの改行があると認識されて欲しいです...。

あと、csvtojson以外に試したライブラリは

fsと組み合わせるて使う

https://www.npmjs.com/package/csv-parse と
https://www.npmjs.com/package/csv-parser です。

両方ともcsvtojsonと同じで１つ目の改行が認識されませんでした。

---

すみません、質問を投稿した瞬間にこのエディターで明示的につけた"あ"と"い"の間の改行も消えました。
何かおかしいです。
エディター上では以下の画像のように改行されてます。
これは一体なんなのでしょうか。

以下 エディターのスクショ

Answer 1

改行コードが不正なのだと思いますが・・・

• 文字コードになにをつかっているか
• 改行コードに何をつかっているか

精査し、場合によってはバイナリエディタで確認してみてください

Comments

[退会済みユーザー]

原因分かりました、おっしゃる通りで、このcsvファイルを作成する時に文字コードを指定していなかったため、おかしなファイルになってたみたいです。

fs.writeFile(outputFilePath, csvStr, 'utf8')

この第三引数をちゃんと'utf8'で指定してエクスポートしたら、そのファイルを読み込んだ結果は正常でした。
ありがとうございました。

Answer 2

私は今回の質問の原因は、
「複数のOS用の改行コードが混ざってしまっている」とみています。
https://qiita.com/uhooi/items/dc74ff3434aecb17faa2

混ぜてしまうと
このファイルはどの改行コードとして判別すれば良いのかわかりにくくなります。

改行コードを視認出来る特殊なエディターを用いて改行コードが混ざっているか否かを確認してください。
そしてもし改行コードが混ざっているなら統一させてあげてください。

Comments

[退会済みユーザー]

miyabi-sun、いつもありがとうございます。
原因は、このcsvファイルを作成するコードで文字コードを指定していなかったためでした...。

fs.writeFile(outputFilePath, csvStr, 'utf8')

ここの第3引数を忘れてしまってました...。

[miyabi-sun]

b
Node.jsやJavaScriptはUTF8しか基本的に扱わないはずなので、
ちょっと不自然ですね。
何にせよ解決したようで良かったです。