MyBatisを用いて大量のデータをselectする

Question

SpringBoot、MyBatis、postgresSQLを、用いてWebアプリケーションを作成しています。
大量のデータをselectする処理の際に、responseが帰ってくるのに非常に時間がかかります。結果自体は帰ってきます。
SQL文を直接postgresSQLに流すと3分ほどでselect結果が帰ってくるので、MyBatisのデータとオブジェクトのマッピングの際に遅れてると考えています。

responseを返す速度を上げたいのですが、大量のデータをselectする際に処理の記載に注意する点などありますでしょうか？

サービスjava
paramMap.put(キー，条件に使うもの)
aList = aMapper.selectAEntity(paramMap):
response.setAList(aList)

マッパーjava

private List<aEntity> selectAEntity(Map<aEntity> map) 

マッパーxml

<select id = selectAEntity parmeterType =map resultType = aEntity(完全修飾名で記載)>
select ~
where カラム名 ＝ #{マップに登録したキー}
</select>

レスポンスクラスjava
private List<aEntity>  aList

試したこと

・postgresSQLに直接SQL文を打ち結果が帰って来ることを確認した。
・マッパーメソッドをList型からCursor型に変換→レスポンスはすぐ帰ってくるが、中身が入っていない状態となった。

記載漏れが多いかと思いますが、アプリケーションを通しても、ものすごく時間はかかりますが、結果は帰ってきます。
よろしくお願いします。

Comments

[sazi]

目的はダウンロードですか？画面表示ですか？
画面表示の際には描画時間もあるので、ページング制御により一度の件数を限定するのが、一般的ですが。

Answer 1

SELECTした件数が多い場合、SQLMapperから取得したレコードを一気に全件Javaのオブジェクトに変換するのではなく、MyBatisのCursor(※)ないしはRowHandlerを使って逐次処理すると、「後続処理によっては」パフォーマンス改善ないしはリソースの節約が可能です。

※MyBatis 3.4.1以降で有効で、Java8以降のStreamAPIに対応しています

Answer 2

３分でも相当長いように思いますが、
SQLチューニングも含めて考えたほうが良さそうですね。
インデックスの貼り方とか、検索の仕方
場合により、Withなど使ったほうが早くなりますが、提示内容からだけでは判断できません。

「バルクインサート」を試してみてください。
調べた感じMyBatisでも使えるようです。

Comments

[nanjamonja]

返信ありがとうございます。
今回処理が重いのはselect文実行時ですが、バルクインサートと同じ様にまとめれば、早くなるということでしょうか？

[m.ts10806]

「大量の」ということでINSERTと思い込んでました。ごめんなさい。
SQLチューニングも含めて考えたほうが良さそうですね。
インデックスの貼り方とか、検索の仕方
場合により、Withなど使ったほうが早くなりますが、提示内容からだけでは判断できません。