【Java】CSV1行ずつ読み込み、DBに格納する方法

Question

OpenCSVというライブラリを利用し、CSVデータの読み取り、DBに格納するコードの作成をしています。
データ件数が多くout of memoryを防ぐため、CSVToBeanのperseメソッドではなく、CSVReaderのreadNextメソッドで1行ずつ処理を行うようにしています。
perseメソッドを利用する場合、指定したBeanにCSVデータが格納されますが、readNextを利用した場合、String配列での取得となり、Beanに格納することができず困っています。

File file = File.createTempFile("prefix", "suffix");
csvFile.transferTo(file);

CSVReader csvReader = new CSVReader(new FileReader(file));
String[] line = null;
while ((line = csvReader.readNext()) != null) {
　　　　　　　　// CSVの１行をBeanにしてDBに格納したい
}

Answer 1

手動で作成したbeanにsetterを使って、ひとつづつ値を詰めていくほかないかと思います。

for (String[] line : csvReader) {
    SomeBean bean = new SomeBean();
    bean.setAlphabet(line[0]);
    bean.setNumber(Integer.parseInt(line[1]));
   
    doSomething(bean);
}

データ件数が多くout of memoryを防ぐため、CSVToBeanのperseメソッドではなく、CSVReaderのreadNextメソッドで1行ずつ処理を行うようにしています。

1行づつCSVを読み込みつつBeanに変換したいのであれば、CSVToBean::iterator()を利用すればよいかと思います。

CsvToBean<SomeBean> beans = new CsvToBeanBuilder<SomeBean>(reader).withType(SomeBean.class).build();
for (SomeBean bean : beans) {
    doSomething(bean);
}

参考: CSVToBean::iterator()のJavaDoc

Comments

[JsoHaya]

ご回答ありがとうございました。特に2つ目のiteratorでの実装を教えていただきありがとうございます。
CSVToBean::iterator()を利用した際について質問なのですが、out of memoryが発生する箇所というのはCsvToBeanのparseメソッドを実行した時に発生するということでしょうか？
CsvToBean<SomeBean> beans = new CsvToBeanBuilder<SomeBean>(reader).withType(SomeBean.class).build();
の部分でout of memoryは発生しないのかな？と疑問に思いました。

[neko_the_shadow]

CsvToBeanBuilder::build()の時点ではファイルの読み込みを行っておらず、CsvToBean::parse()またはCsvToBean::iterator()が呼び出された時点でファイルの読み込みが発生します。よってCsvToBeanBuilder::build()ではOOMEの心配はしなくてよいと思います。

CsvToBean::parse()はファイル全行を読み込んでリストに格納します。つまりファイル全行のデータがメモリ上に乗るため、OOMEの危険性が高くなります。一方、CsvToBean::iterator()はファイルを1行ずつ読んでBeanに変換するため、省メモリな処理を実現することが可能です。このCsvToBean::iterator()の挙動についてはリンクしたJavaDocにも明記されているため、参考にしてください。

[JsoHaya]

ご丁寧に回答いただき本当にありがとうございます。説明いただいたこととJavaDocに目を通し、メモリ上に乗るタイミングについて理解することができました。ありがとうございました。