テキストファイル(CSV)の行数を取得し、任意の行から読み込みたい。

Question

1ファイル20万行ほどあるcsvファイルをなるべく高速に処理したいのですが。なにか良い方法はあるでしょうか？

したいことは2つです。
0. CSVファイルの行数を取得する。
→ 行数を取得したい場合は、全行読まないと無理？
0. 任意の行を読み込みたい。
→ 任意の行から下を読み込みたい。
→ 任意の行より上は不要なので読み飛ばしたい。

一応、以下のように一行ずつ読み込めば、できていはいるのですが、全行読んでおり、すごく無駄な処理をしている気がします。
20万行もあるので、なるべく不要な行を読まずに済ませる方法はないでしょうか。

    const csv = require('csv');
    // CSVファイル読み込み
    let stream = fs().createReadStream(csvpath)
      stream.on('error', (e) => {
      });
      // CSVファイル読込
      stream.pipe(csv.parse(csvOption, function (e, csvData) {
　　　　　　let len = csvData.length;
        }));

Answer 1

ご質問には詳細が示されていませんので参考程度のことしか答えられませんが

読んだ結果が配列なら、何度もCSVを読んで、CSV => 配列 の変換をせずに
一旦、JSON.stringify(csvData)して別のテキストファイルとして保存されてはどうでしょう？

もし、csvData の内容が二次元配列なら、普通にJavaScriptの配列処理をするだけで

1. CSVファイルの行数を取得する。
2. 一行目だけ読み込みたい。
3. 任意の行から下を読み込みたい。

の要件は満たせると思います。

Comments

[退会済みユーザー]

ありがとうございます。
全部配列に入れればできるのですが、20万行もあるのでできれば全行読まずにできないものかと思いまして、質問させていただきました。

[AkitoshiManabe]

コードを見る限り、Stream処理ですので、JavaScript（NodeJS）では最速の方法ではあります。
1. については全行を読まなければ取得できないので、サブフォルダなどに、1万行ごとに連番を打ったJSONファイルを分割保存するなどの方法を検討したほうがいいと思います。

[退会済みユーザー]

やはりカウントするには全行読み込みしないと無理そうですね。
他の方法を検討してみます。
ありがとうございました。