CSVDataSetWriterで50万件以上のデータを書き込みたい

Question

現在、JUnitテストでDBUnitのCSVDataSetWriterを使ってDBのテーブル内情報をCSV出力してバックアップを取る仕組みを作っているのですが、40万件以降から書き込みがかなり遅くなってしまい、テストができる状態まで何日とかかってしまう状況です。

何かいい対策が思いつく方いましたら教えていただけないでしょうか？
java5
junit4.11
dbUnit2.5.1-SNAPSHOT

--追記--

私自身が思うことはメモリ不足ではないかと考えているんですが、なかなかいい解決方法が見つかりません。
Eclipseで「System.gc()」を実行してメモリ解放を行っているのですが、それでも尚解決されていません。

Answer 1

単純に「全部メモリ上でCSV化してからファイルに書き出す」という仕組みのために
処理件数が増えるとともに消費メモリが増える，という可能性を考えたのですがいかがでしょう．
もしこれが原因なら，適当な件数でファイルに書き出し，
続きはそのファイルに追記する形で書き出す，という方法が考えられます．

Answer 2

出力ファイルが大きくなって動きが悪くなるという現象だと、一番にファイルシステムを疑うべきだと思います。
CSVファイルの出力先を、十分な空き容量（４０万件のCSVファイルのサイズの数倍）を持つ別のドライブ（できれば、それだけに使うドライブ）にしてみてください。出力先のドライブに空きが少ない、フラグメントを起こしている等で状態が悪いというのが原因なら、改善する可能性があります。

Comments

[fireflydeath912]

ディスクの容量は１０GBほど空いており、十分な容量を確保しているのですが、現象が解決されませんでした。

Answer 3

ヒープメモリの不足かどうか確認するために、
jstat、VisualVM、Mission Control、gcログなどでヒープメモリ使用量を
確認すると良いと思います。

その上で、ヒープメモリが不足していれば、Java起動引数に、
-Xmxで最大ヒープ容量を指定して実行してはいかがでしょうか？

具体的な方法が分からなければ、追記します。

Comments

[fireflydeath912]

現在、gc実行後に空き容量をログで出力して見る様にしています。
件数が増えるにつれて空き容量が小さくなっているのが確認されました。

[eripong]

最大ヒープ容量の指定は増やしてみたでしょうか？
また、見落としていたのですが、EclipseでSystem.gc()とはどういう操作でしょうか？

[fireflydeath912]

ヒープ領域を増やしたいところなのですが、さらに低いPCのスペックでも動作するようにしたいため、その手は最終手段にしています。

[eripong]

なるほど。
ただ、どの程度ヒープがあれば動作するのか、ヒープ不足だけが原因なのかを
確認するために、増やして実行は試した方が良いと思います。

[fireflydeath912]

eripongさんのおっしゃる通りですね。ヒープを増やしてしきい値を確認してみます。

[eripong]

それが良いと思います。

ヒープ不足が原因の場合、DBUnitに手を入れなければならない可能性もありますが、
そこまでする想定でしょうか？

また、可能な範囲で現状のソースコードを投稿してもらえませんか？
「gc実行後に空き容量をログで出力して見る」というのが、
どのタイミングでどの様に実行されているかの確認や、
ヒープを大量に使う理由の推測を行えればと考えています。