大量のINSERT文に関して

Question

サービス稼働中の下記テーブルに5万件ほどのデータを本番環境にて直接INSERT文でデータを挿入するにあたって、
何か最適な方法はありますでしょうか？
現状は下記SQL文を5万件準備し実行予定です。
INSERT INTO user_info_tbl ~ VALUES ~

CREATE TABLE user_info_tbl (
user_id INT(10) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 'ユーザーID',
user_type INT(2) NOT NULL COMMENT 'ユーザータイプ',
user_name VARCHAR(32) NOT NULL COMMENT 'ユーザー名',
create_date DATETIME NOT NULL COMMENT '作成日',
update_date DATETIME NOT NULL COMMENT '更新日',
PRIMARY KEY (user_id),
)

Comments

[m.ts10806]

「挿入する」こと自体なのか「SQLを作る」なのかで回答の方向性が違ってきます（既に回答に出てきていますが）

Answer 1

MySQLの場合、INSERT INTOを5万個並べるより、INSERT INTO user_info_tbl (列リスト) VALUES (値1), (値2), ...のように一括でINSERTしたほうが、ずっと高速に処理できます（Qiita）。

Comments

[whxtna]

バルクインサートにて実施いたしました。
ご回答ありがとうございます。

Answer 2

5万件が「エラーなしに」入ることを保証できているならバルクインサートでも何でもありですが、
そうとは限らないのだとしたら、安全のために1000件単位程度でトランザクションかけながらやりますね。

*nix 系ならシェルスクリプトをかませて。

Comments

[whxtna]

バルクインサートにて実施いたしました。
ご回答ありがとうございます。

Answer 3

INSERTじゃないといけないんですか？
MySQLならLOAD DATA (LOCAL) IN FILEでcsvやらtsvファイルを食わせるのが最速だと思います。
autoincrementなカラムはcsvなどに入れておかなければ、自動で入るハズです。

Comments

[whxtna]

バルクインサートにて実施いたしました。
LOAD DATAでの方法の今後参考にさせていただきます。
ご回答ありがとうございます。

Answer 4

現状は下記SQL文を5万件準備し実行予定です。
INSERT INTO user_info_tbl ~ VALUES ~

これ、加工してるんなら、**LOAD DATA IN FILE**を使用して、ファイルを直接取り込んだほうが加工の手間も減るし、insert（バルクも含め)より高速です。、

Comments

[whxtna]

バルクインサートにて実施いたしました。
LOAD DATAでの方法の今後参考にさせていただきます。
ご回答ありがとうございます。

Answer 5

わたしもやるならバルクインサート一択ですね

insert into テーブル values(...),(...),(...),(...),...;

ただし運用が許せば一気に流し込まず、1,000件とか10,000件とかにわけて
処理をするほうが確実です

Answer 6

MySQL 5.6 リファレンスマニュアル :: 13.2.6 LOAD DATA INFILE 構文

Comments

[whxtna]

バルクインサートにて実施いたしました。
LOAD DATAでの方法の今後参考にさせていただきます。
ご回答ありがとうございます。