embulk実行時のJavaヒープサイズ

Question

embulkを使ってOracle12cのデータを転送する際に、embulkが使用するjavaヒープサイズの最大値を指定したいです。

embulk -J -Xmx100m run config.yml

※例では100MBにしています。
※実業務で転送する場合の対象データについて

転送時間：約10分間
転送間隔：10分に1度
転送回数：終日（業務時間帯3:30～翌日2:30）
1度に転送されるデータ容量：約1GB
1度に転送されるレコード件数：約180万件
1レコードのカラム数：約80カラム
マシンスペック：物理メモリ128GB、スワップ領域20GB、内蔵ディスク1.2TB
OS：Solaris 11（project.max-shm-memory：共有メモリ64GB）
MW:Oracle 12c(projmod -sK "project.max-shm-memory=(privileged,64G,deny)"default)：インストール用に64GB利用)

※embulk実行時に利用させるjavaヒープサイズの最大値で妥当な値を算出したいです。

Answer 1

一般解はないので計測するのが良いように思います。

Comments

[raccoondog]

ご回答有難うございます。

embulk -J-Xms512m-Xmx512m run config.yml

⇒/xxx/xx/xxx/embulk-0.9.15.jar 置換が正しくありません。

と出力され実行できない状況となります。
JVMの指定方法がおかしいでしょうか？

[hiroysato]

embulk -J-Xms512m -J-Xmx512m run config.yml
でどうですか？

[raccoondog]

結果同じく、置換が正しくありません。と表示されてしまいます。

[raccoondog]

モジュールは、embulk-0.9.15.jarになります。

Answer 2

動きますね。

• OS: Windows 10
• Embulk: 0.9.16
• Java: 1.8.0_202

>embulk -J-Xms512m -J-Xmx512m run config.yml
2019-03-27 12:03:39.316 +0900: Embulk v0.9.16
2019-03-27 12:03:40.754 +0900 [WARN] (main): DEPRECATION: JRuby org.jruby.embed.ScriptingContainer is directly injected.
2019-03-27 12:03:53.441 +0900 [INFO] (main): Gem's home and path are set by default: "C:\Users\admin.embulk\lib\gems"

何回も何回も何回も言っていますがどうしてEmbulkのバージョン情報とかログ情報の情報もつけていただけますか？

Solarisだとbashを使っていないとエラーが出るかもしれません。ご利用のシェルはなんですか？

Comments

[raccoondog]

使用しているシェルは、cshになります。
実行ログは何も出力されていないです。

[raccoondog]

bashで、正常に実行出来ました。
ご指摘、ご教示ありがとうございました。