POIのSXSSF APIについて

Question

SXSSF APIではHSSFやXSSFなどのインメモリーではなく、BufferedStreamingなためメモリ低減が実現されているとのことです。
実際に使用してみましたが、HSSFでは緩やかですが右肩上がりにメモリが使用されていき、場合によってはOutOfMemoryが発生します。
SXSSFではメモリ使用上限に近づくと使用量がガクッと下がります。
その後また上限に近付くとガクッと下がり・・・の繰り返しです。

ここで質問なのですが、
SXSSFはBufferedStreamingなため、メモリ使用できるギリギリまで読み込み、危なそうになると中間ファイルにはかれ危機を脱している。というメモリの使用イメージであってますでしょうか？
また、中間ファイルが作成されるとのことですが、どこに出力されるのでしょうか。
winとlinuxで異なるのであればどちらも教えて頂けるとありがたいです。

Answer 1

SXSSFSheetの実装を見た限りでは、利用可能なメモリの上限とは特に関係なく、デフォルトではSXSSFWorkbook.DEFAULT_WINDOW_SIZEの値(=100)まで行数を保持し、一時ファイルに出力していない行数がこれを越えた場合に出力します。

Comments

[syncrock]

回答ありがとうございます。
理解力が無くて申し訳ないのですが、１００行までは保持したまま処理を行い、１０１行目を保持しようとしたときに、上限の行数を超えるので一時ファイルに出力して、また１００行まで保持して・・・という感じなのでしょうか？
（デフォルト値のままの場合。）

Answer 2

最近同じ問題出ているので、よく調べてわかりました。
SXSSFはヒープ領域（heap memory）の特性と同じように、出力専用のライブラリである。理解のキーは先頭のSである、StreamingのSである。InputStreamや、OutputStreamなど利用方法と一緒である。水流れように、戻り読込・書込できない。
それから、利用する時すべてデータやスタイルは最初に準備して、順番で行クリエートして、セルクリエートして、スタイルを設定して、値や計算式設定したら、数十メガバイトのエクセルファイルでも速く出力できた。

Apacheの公式サイトSXSSF (Streaming Usermodel API)に詳しい説明と例が有る。

Comments

[syncrock]

回答ありがとうございます。
過去にやりとりしていた内容含めて、公式サイトに詳細が載っていましたね。
メモリ低減の仕組みも理解できたように思えます。

Answer 3

回答じゃないですけど、下記の記事をみるとSXSSFの概要について参考になりました。
Apache POIを使って、ちょっと大きなExcelを作る

SXSSFではメモリ使用上限に近づくと使用量がガクッと下がります。

実装をみてないので自分にはわからないですが、ライブラリーとして設計してあるはずのPOIが「メモリーの使用量ぎりぎりまで使う」ということをもししているなら「アプリケーションがどんなメモリーの使い方をするのかわからないのに勝手にメモリーを食い尽くす」ことになりかねず、私見ではそういう実装はしないのではと思いました。
アプリケーションの実行に従いヒープ使用量が増加->GCで不要メモリー回収というのはJavaアプリケーションの典型パターンですが、そうなっていただけでは？

中間ファイル

上の記事によれば/tmpだそうです。普通ですね。Windowsは分かりませんが、やはり普通の場所(C:\Users\xxx\AppData\Local\Tempとか?)ではないでしょうか？

Comments

[syncrock]

回答ありがとうございます。

>アプリケーションの実行に従いヒープ使用量が増加->GCで不要メモリー回収というのはJavaアプリケーションの典型パターンですが、そうなっていただけでは？
HSSF等では増加しても使用中であるためにそのままOutOfMemoryになります。
ただ、SXSSFでは増加したとメモリー回収されたような形になり一旦落ち着いて、また増加して・・・となり、BufferedStreamingは読み込めるだけ読み込むっていうモノだと思ってるので、読み込むだけ読み込んで、限度がきそうなら中間にはいてからGCして・・・なのかと思いまして。

>普通の場所(C:\Users\xxx\AppData\Local\Tempとか?)ではないでしょうか？
ありがとうございます、確認してみます。

[KSwordOfHaste]

外部からの観察では推測しかできないので実際にどうなっているかが重要なら実装をみるのが一番確実ということになります。そうではなくメモリーの消費量の観察から考えられる実装の考察という意味合いなら本件とは別の質問にするか質問タイトルを変えた方がよいと思います。後者だとしても内容としては興味のある話（他の方の参考になり得る話）だと自分は思います。

[syncrock]

実装としてはネットで調べれば出てくるようなロジックと大差ありません。
出力データをDBから取得してくるロジックとデータ編集が含まれる程度で基本的には
inputStream = new FileInputStream("テンプレートファイルのパス");
XSSFWorkbook loadbook = new XSSFWorkbook(inputStream);
SXSSFWorkbook workbook = new SXSSFWorkbook(loadbook);
SXSSFSheet sheet = workbook.getSheetAt(0);
Row row;
Cell cell;
～DB取得ロジック～
for (DBより取得したデータループ) {
row = sheet.createRow(行カウンタ);
cell= row.createCell(セルカウンタ);
～データ編集処理～
cell.setCellStyle(セルのスタイル);
cell.setCellValue(DBの値);
}
がSXSSFに関わるところで、特にロジックが変なことしてるようにあまり思えず。
ベストはSXSSFのメモリの使い方がわかればと思いましたが、
「BufferedStreamingのメモリの使い方が○○なので○○ではないか」という話でも聞けたらと思いました。

ちなみに、中間ファイルは見つかりました、ありがとうございます。
最初は０Kで作成され、SXSSFの処理中も０Kでしたが、あるタイミングで急にバイト数が数Mに増えましたのでGCされたタイミングなのかなと思っております。

[KSwordOfHaste]

実装とは「SXSSF」の実装のことです。

[syncrock]

すいません、勘違いしておりました。