Q&A
1000rows / 1secs
で1億の場合は約30時間ほどですかね
おそらく自分の手間を考えれば単純に非同期的にインサートをするのがやはり一番全体で見れば手っ取り早い方法なのですかね、、、
前提
現在特殊な方法で集められたデータが手元に存在しておりそれらが1行ずつデータで存在しており、データの問い合わせやAPI化を検討しているためMySQLに移動させて利便性を上げたいのですがいまいち大規模データをMySQLにインサートする方法が思い浮かびません
実現したいこと
Python, Node.JS(Deno)などでファイルをストリームで1行ずつ読み込みながらそれをどんどんインサートしていく感じで作成していますがもちろん遅すぎて終わる気がしないため何か別言語やテキストファイルの内容をSQL文やCSV形式に整形してインポートが出来るなら整形できるため現時点では一番現実的かなと思っています
発生している問題・エラーメッセージ
1行ずつのINSERT処理だと遅すぎる
試したこと
現在はNode.JSにてreadlineを使用して1ラインずつ読み込み、Sequelizeを使いINSERTをしてみましたがあまりにも遅すぎました
補足情報（FW/ツールのバージョンなど）
MySQL (バージョンは未定、パフォーマンスが良い物を採用)
回答3件
0
LOAD DATA INFILEを使ってはどうでしょう
投稿2023/01/07 15:29
総合スコア871
0
遅いものは仕方ないので、普通は バックグラウンド処理にして、非同期に処理するのが定石です。
投稿2023/01/07 15:25
編集2023/01/07 15:27
総合スコア3923
0
ベストアンサー
バルクインサート (まとめてインサート) である程度の件数ごとに INSERTしてはいかがでしょう
例:
INSERT INTO table_name (col_1, col_2, col_3) VALUES (1, 2, 3), (4, 5, 6), (7, 8, 9);
投稿2023/01/07 15:25
総合スコア1453
1億はほぼファイル分けがされておらず1ファイル当たり6GB~30GBほどあるため全てをメモリに格納するのは難しく私の考える限りでは数件ごとに分けるには同期処理を行って、Streamで読み込みながらArrayに格納していき1000件程度になったら裏でBulkInsertを行ってるうちにまた次の1000件を用意するという流れしか思いつかずその場合逆に遅くなってしまうのかと思いまだ試せていません
やはりBulkInsertが有効なのでしょうか？
SQLの発行は重さのボトルネックになりやすいので発行回数を減らせればと思いましたが、試してみないとなんともです
ありがとうございます、現在1ラインずつStreamで読み込みArrayが1000件以上になった場合にBulkInsert→Arrayをクリアを繰り返しでとても高速にインサートが出来ました
数十秒で1,000,000件近くに到達しておりおそらく一番確実で実装が簡単であり高速なためベストアンサーにさせていただきます！
やはり推測であまり変わらなそうといって試さないのは良くないですね、勉強になりました。
ありがとうございました
すごい速度の違いですね 笑
解決して良かったです
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2023/01/07 15:35