大量のデータを、順番通りにDBに格納する方法を教えてください。Node, Sequelize, postgrSQL

Question

実現したいこと

約5000行に及ぶTSVファイル内のデータを、もとデータの順番通りにDBに格納したい。
ファイル内のデータは上から日付順で並んでおり、1行＝1データとしてDBに格納します。

DBへの格納方法

もとファイルをStreamで読み込み、1行読み込んだタイミングでDB更新処理をしています。

発生している問題

DBを確認すると、行順がところどころずれた状態で格納されていました。
おそらく原因は、streamのlineイベントにおいて、テーブル更新処理が終了する前にループしているから、と推測しています。

質問

大量のデータを、順番に狂いなくDBに格納する方法をおしえていただけないでしょうか？
よろしくお願いいたします。

DBへデータを格納するコード

const fs = require('fs');
const readline = require('readline');

// モデルの読み込み
const Day_info_total = require('../models/day_info_total');
Day_info_total.sync();

// もとファイルのパス
const path = '../downloads/all/total/all.tsv';

var rs = fs.createReadStream(path, 'utf-8');
var rl =readline.createInterface({input: rs});
rl.on('line',(data)=>{
　var data = data.split('\t');
　// モデルの更新
　Day_info_total.create({
　　date: data[0],
　　time: data[1],
　　unixTime: data[2],
　　totalVideos: data[3],
　　totalViews: data[4],
    totalComments: data[5],
  });
});

Comments

[momon-ga]

そもそもの前提条件、無視しちゃいますが
DBの格納順って意味なくて、取得するさいにオーダーかけるものでは？
そこにこだわる必要ってあります？

Answer 1

大量のデータを、順番に狂いなくDBに格納する方法をおしえていただけないでしょうか？

そもそもRDBMSは「集合」を扱うものであり、「格納順」という概念がありません。
レコードの順番は「常に保証されない」という前提で考えるものです。

各データに順序付けて扱いたい場合は、自分であらかじめ順序を定義した列を追加するか、任意の列でオーダーをかけるものです。

それを理解した上で、どうしても「格納順」にこだわるのであれば、一行挿入するごとにトランザクションをコミットすれば良いんじゃないですかね。