Node.jsでCSVファイルを読み込み、データを加工して配列の形のまま返す方法を知りたい

Question

前提・実現したいこと

Node.jsでCSVファイルを読み込み、必要な情報だけに加工して配列の形にするプログラムを書きたいです。

（例）

1. data.csvを読み込む
2. 変数に検索したいワードが入っているので、一致する内容の行や指定した列のみの形にして配列にする

（data.csvの中身）
日付, 名前, 個数, 担当
1223, あいう, 1, A
1224, かきく, 2 ,B
1224, さしす, 3, C
1224, たちつ, 4, C

（期待する出力）
検索ワード：1224(日付), C(担当) ,[出力する列]名前・個数
さしす, 3
たちつ, 4

該当のソースコード

// csvファイルの読み込み
const fs = require('fs');
const csv = require('csv');
fs.createReadStream(__dirname +'/data.csv').pipe(csv.parse(function(err, data) {}));

searchword_1 = 1224
searchword_2 = C
column_1 = '名前'
column_2 = '日付'

試したこと

読み込みまで・検索した結果CSV出力する内容のものが多くどう書けばいいのか結局わかりませんでした。
初心者なので見逃しや見当違いな表現などあるかもしれませんがお手柔らかにお願いします。
よろしくお願いいたします。

Answer 1

質問文のコードはNode.js最難関であるStreamの機能を使ったコードなので、
プログラミング初心者が使うにはかなり厳しいものがあります。

そもそもなんでStreamなんて使っているのかというと、
CSVファイルの中には郵便番号一覧みたいなやべえのがあって
これを複数の変数でやり取りしているとアホみたいにメモリ容量を食うからですね。
なので1行ずつスコップですくいあげて、関数に流して処理……みたいなエコな対策が必要となります。

まぁ、数百MB行くような超巨大なCSVファイルなんて遭遇しないので、
普通に同期処理でやれば良いのです。

このcsvモジュールのドキュメントでは
CSVParse for Node.js の Sync APIページに同期処理版も同梱しているから
用途に応じてこっちも使ってねみたいに紹介されています。
理解しやすさ重視でこちらを使って回答していきます。

$ npm install csv-parse

const fs = require('fs');
const {parse} = require('csv-parse/sync');

const text = fs.readFileSync(__dirname + '/data.csv').toString();

const csv = parse(text, {
  columns: true,
});
console.log(csv);
// [
//   { '日付': '1223', '名前': 'あいう', '個数': '1', '担当': 'A' },
//   { '日付': '1224', '名前': 'かきく', '個数': '2', '担当': 'B' },
//   { '日付': '1224', '名前': 'さしす', '個数': '3', '担当': 'C' },
//   { '日付': '1224', '名前': 'たちつ', '個数': '4', '担当': 'C' }
// ]

const csv2 = parse(text);
console.log(csv2);
// [
//   [ '日付', '名前', '個数', '担当' ],
//   [ '1223', 'あいう', '1', 'A' ],
//   [ '1224', 'かきく', '2', 'B' ],
//   [ '1224', 'さしす', '3', 'C' ],
//   [ '1224', 'たちつ', '4', 'C' ]
// ]

大体望んでいた配列そのままなんじゃないですか？

---

要件はもう一個ありましたね。

（期待する出力）

検索ワード：1224(日付), C(担当) ,[出力する列]名前・個数
さしす, 3
たちつ, 4

複数条件のANDで検索したいと言ってるわけですね。

searchword_1 = 1224
searchword_2 = C
column_1 = '名前'
column_2 = '日付'

こういう風に個別の変数を大量に用意するやり方は、
コードがクソ長くなるので非推奨です。

ここは配列で定義→for文で一括処理
この流れを意識しましょう。

const conditions = [
  {column: "日付", word: "1224"},
  {column: "名前", word: "C"},
];

こんな感じかな？
あとはさっきのコードに合体させる感じにして
for文の多重ループになりますね。

const fs = require('fs');
const {parse} = require('csv-parse/sync');

const text = fs.readFileSync(__dirname + '/data.csv').toString();
const csv = parse(text, {
  columns: true,
});

const conditions = [
  {column: "日付", word: "1224"},
  {column: "名前", word: "さしす"},
];

const hits = [];
for (const datum of csv) {
  // AND条件を表現するため、最初はHit扱い、条件外なら除外する
  let isHit = true
  for (const {column, word} of conditions) {
    if (datum[column] !== word) {
      isHit = false;
      break;
    }
  }
  if (isHit) {
    hits.push(datum);
  }
}

console.log(hits);
// [ { '日付': '1224', '名前': 'さしす', '個数': '3', '担当': 'C' } ]

これで解決したかと思いますが、
冒頭で触れたStream版は高速なシステムを作るためには扱えて損はありませんので、
よりチャレンジングな課題として取り組んでみても良いと思います。

Answer 2

もっと良い書き方ある気もしますが、、

const fs = require('fs');
const csv = require('csv');

const searchword_1 = "1224"
const searchword_2 = "C"

fs.createReadStream(__dirname +'/data.csv').pipe(csv.parse(function(err, data) {
    const header = data.splice(0, 1)[0];

    if (searchword_1) {
        data = data.filter(row => row[header.indexOf('日付')] === searchword_1);
    }

    if (searchword_2) {
        data = data.filter(row => row[header.indexOf('担当')] === searchword_2);
    }

    data.forEach(row => {
        console.log(`${row[header.indexOf('名前')]},${row[header.indexOf('個数')]}`)
    })
}));

※記載されているdata.csvの内容には空白が入ってますが、このコードは空白入ってない想定です。(普通、CSVデータって空白もデータの一部とみなすものだと思うで。)

日付,名前,個数,担当
1223,あいう,1,A
1224,かきく,2,B
1224,さしす,3,C
1224,たちつ,4,C

---

※「csv.parse」のコールバック関数から外に出したくて、async/awaitを使った実装も作ってみたんですが(参考)、余計にややこしくてあまりキレイじゃないので、上記の方がマシかもしれません。StreamAPI難しいですね。

参考に一応貼っておきます。↓

const fs = require('fs');
const csv = require('csv');

const searchword_1 = "1224"
const searchword_2 = "C"

const reader = async (rs) => {
    const list = []
    for await (const row of rs) {
        list.push(row);
    }
    return list;
}

(async function() {
    const rs = fs.createReadStream(__dirname +'/data.csv').pipe(csv.parse());
    let rows = await reader(rs);

    const header = rows.splice(0, 1)[0];

    if (searchword_1) {
        rows = rows.filter(row => row[header.indexOf('日付')] === searchword_1);
    }

    if (searchword_2) {
        rows = rows.filter(row => row[header.indexOf('担当')] === searchword_2);
    }

    const result = [];

    rows.forEach(row => {
        result.push([row[header.indexOf('名前')], row[header.indexOf('個数')]]);
    });

    console.log(result)
})();