バッチを書くのに気をつけること

Question

JDBC経由で、大量のデータのInsertを行うバッチを書いています。
パフォーマンスを向上させるために気をつけることはありますか？

Answer 1

ライブラリーやフレームワークを使用しないのであれば、addBatch,executeBatchでしょうか。

APIドキュメント Statement#executeBatch (Java Platform SE 8)

addBatchで蓄積して、executeBatchで一気に反映します。
addBatchの蓄積が少なすぎるとパフォーマンスが悪く、
addBatchの蓄積が多すぎるとOutOfMemoryになる危険があるので注意です。

• 例

// Java7以上 static void batch(String url, String user, String passwd) throws SQLException { String[] data = { "aaa", "bbb", "ccc", /* 実際は大量のレコード */}; try (Connection conn = DriverManager.getConnection(url, user, passwd); PreparedStatement stmt = conn.prepareStatement("INSERT INTO TABLE1 VALUES (?, ?)")) { int count = 0; for (String v : data) { stmt.setTimestamp(1, new Timestamp(System.currentTimeMillis())); stmt.setString(2, v); stmt.addBatch(); ++count; final boolean lastData = count == data.length; if (count >= 500 || lastData) { // 500件ごとにexecute、 resultsを判定 APIドキュメント参照 int[] results = stmt.executeBatch(); if (lastData) break; count = 0; // TODO commitタイミングも別途検討 } } // TODO エラーが無かったらcommit // TODO エラーだったらrollback？ } }

Comments

[iwaiwa]

こんな関数あったんですねー。勉強になりますね。

[suminotky]

コメント遅れました！親切な対応ありがとうございました！

Answer 2

バッチ実行時間を指定することが可能なのであれば、DBへの負荷が少ない時間帯に実行する、ということも考えられますね。

Answer 3

コミット単位をある程度まとめてやるとか、
SQLじゃなくてDB機能のexport,import使うとか、
プロシージャ使うとか、
バッチを並列化するとか、
いろいろアイデア発揮できるところではありますね^^

Answer 4

バルクインサートを使う
大量のデータをいきなり全部メモリに展開したりしないようにする
位じゃないでしょうか。

実行しようとしてるソースのサンプルとかあればもう少し的確な意見がもらえるんじゃないでしょうか。

Answer 5

読み出しに工夫はいりますけど、insertだと特に工夫とかないんじゃないですかね。
読み出しやすいテーブル構成とか、そっちの方が大事な気がする。