常連

### 前提・実現したいこと

embulkを利用しFTPでファイルを取得し、取得したファイルをFTPで出力したいと考えております。
1つのファイルを取得し出力する際、2つのファイルに分割されてしまいます。
1つのファイルに出力したいのですが、設定方法等お気づきの点があればお教えいただけますと幸いです。

ファイル取得には「embulk-input-ftp」、ファイル出力には「embulk-output-ftp」のプラグインを利用しています。

実行環境の情報は以下になります。
マシンスペック：2vCPU、8GiB
OS : WindowsServer 2008 R2
java : openjdk version "1.8.0_212"
embulk : embulk 0.9.17
embulk-input-ftp : embulk-input-ftp-0.2.0
embulk-output-ftp : embulk-output-ftp-0.2.2


不足情報等あればお気軽に教えていただけますと助かります。

### 発生している問題・エラーメッセージ
取り込み対象のファイルと出力されるファイルは以下になります。

■取り込み対象のファイル(test_purchase_log_20180802.csv)
```
time,member_id,goods_id,ship_date,ammount,total
2019-03-18 22:41:22,0001,0001,2019-09-2,3,1000
2019-03-18 22:41:33,0002,0002,2019-09-2,3,1000
2019-03-18 22:41:44,0003,0003,2019-09-2,3,1000
2019-03-18 22:41:55,0001,0003,2019-09-2,1,1000
2019-03-18 22:42:11,0001,0002,2019-09-2,2,1000
2019-03-18 22:42:11,0002,0003,2019-09-2,3,1000
```

■出力されるファイル1(test000.00.csv)
```
time,member_id,goods_id,ship_date,ammount,total
2019-03-18 22:41:22.000000 +0000,0001,0001,2019-09-02 00:00:00.000000 +0000,3,1000
2019-03-18 22:41:33.000000 +0000,0002,0002,2019-09-02 00:00:00.000000 +0000,3,1000
2019-03-18 22:41:44.000000 +0000,0003,0003,2019-09-02 00:00:00.000000 +0000,3,1000
2019-03-18 22:41:55.000000 +0000,0001,0003,2019-09-02 00:00:00.000000 +0000,1,1000
2019-03-18 22:42:11.000000 +0000,0001,0002,2019-09-02 00:00:00.000000 +0000,2,1000
2019-03-18 22:42:11.000000 +0000,0002,0003,2019-09-02 00:00:00.000000 +0000,3,1000
```

■出力されるファイル2(test001.00.csv)
```
time,member_id,goods_id,ship_date,ammount,total
```

### embulk設定ファイル
embulkの設定ファイルは以下になります。

```yml.liquid
in:
  type: ftp
  host: xxxxx
  port: 21
  user: xxxxx
  password: xxxxx
  path_prefix: /test_purchase_log
  parser:
    charset: UTF-8
    newline: CRLF
    type: csv
    delimiter: ','
    quote: '"'
    escape: '"'
    trim_if_not_quoted: false
    skip_header_lines: 1
    allow_extra_columns: false
    allow_optional_columns: false
    columns:
    - {name: time, type: timestamp, format: '%Y-%m-%d %H:%M:%S'}
    - {name: member_id, type: string}
    - {name: goods_id, type: string}
    - {name: ship_date, type: timestamp, format: '%Y-%m-%d'}
    - {name: ammount, type: long}
    - {name: total, type: long}
out:
  type: ftp
  host: xxxxx
  port: 21
  user: xxxxx
  password: xxxxx
  path_prefix: test
  file_ext: csv
  formatter: {type: csv, header_line: true}
```

### 試したこと

・複数ファイルを入力にする場合は想定通りの動作となります。（inputファイル数＝outputファイル数となります。）
・マシンスペックを1vCPU、4GiBにすると1つのファイルへ出力されます。
・マシンスペックを4vCPU、16GiBにすると4つのファイルへ分割されて出力されます。出力された4つのファイルは「test000.00.csv」と「test001.00.csv」、「test002.00.csv」、「test003.00.csv」が出力されます。
「test000.00.csv」と「test001.00.csv」は上記と同じファイルが出力され、「test002.00.csv」、「test003.00.csv」は「test001.00.csv」と同じファイルが出力されます。

embulkを利用し単一のファイルを取り込み出力する際に複数にファイルに分割されてしまう

web上でcsvファイルをアップロードし、embulkというツールを使ってdbに保存するというwebアプリケーションを現在作っています。
以下が問題の部分です。
```php
$embulkShell = "embulk run " . APPLICATION_PATH .  "/../data/upload/config.yml";
$output = shell_exec($embulkShell . ' 2>&1');
echo $output;
```
アップロード後、上記のembulkコマンドをたたくと以下のエラーになります。
```php
sh: embulk: command not found
```
パスは以下のように通っているのですが、うまくいきません。
```php
echo get_include_path();

出力結果
/home/ec2-user/work/uploader/application/../library:/home/ec2-user/work/uploader/library:/home/ec2-user/work/uploader/embulk/bin:.:/usr/share/php:/usr/share/pear
```

以下のように絶対パスで実行すれば動きそうなのですがrunコマンドで別のembulkコマンドを呼び出しており、結局そこで"command not found"になってしまうのでパスを通して実行したいです。
```php
$embulkShell = "/home/ec2-user/work/uploader/embulk/bin/embulk run " . APPLICATION_PATH .  "/../data/upload/config.yml";
```

実行権限は付与しています。
```bash
chmod +x /home/ec2-user/work/uploader/embulk/bin/embulk
```

また、サーバー側で直接コマンドをたたくと実行できたので、クライアントで行う際に問題があると思われます。


どうかご教授お願いいたします。


環境
Linux version 4.1.10-17.31.amzn1.x86_64
Apache/2.2.31 (Unix)
PHP 5.3.29
ZendFramework 1.12.17
Embulk v0.8.2

PHPでshell_exec()を実行すると、パスを通してるのに"command not found"となる

### 前提・実現したいこと

embulkでRDStoRDSでコピーをしたいのですが、バイナリデータがサポートされていていないようで、エラーになります。
エラーメッセージの通り、columnA: {value_type: string}を追加しても解消されませんでした。

何か回避方法をご存知であれば、教えて頂けると助かります。。

### 発生している問題・エラーメッセージ

```
Caused by: java.lang.UnsupportedOperationException: Unsupported type MEDIUMBLOB (sqlType=-4) of 'DATA' column. Please add 'columnA: {value_type: string}' to 'column_options: {...}' option to convert the values to strings, or exclude the column from 'select:' option
```

### コード

_input.yml.liquid

```
in:
  type: mysql
  host: {{ env.IN_MYSQL_HOST }}
  user: {{ env.IN_MYSQL_USER }}
  password: {{ env.IN_MYSQL_PASSWORD }}
  database: dbA
  select: "*"
  options: {useLegacyDatetimeCode: false, serverTimezone: Asia/Tokyo}

```

_output.yml.liquid

```
out:
  type: mysql
  mode: replace
  host: {{ env.OUT_MYSQL_HOST }}
  user: {{ env.OUT_MYSQL_USER }}
  password: {{ env.OUT_MYSQL_PASSWORD }}
  database: dbA
  select: "*"
```

config.yml.liquid
```
{% include 'input' %}
  table: tableA
{% include 'output' %}
  table: tableA
  column_options:
    DATA: {value_type: string}
```

### テーブル定義
ID:INT
DATA:MEDIUMBLOB
CREATED_DATE:DATETIME
UPDATED_DATE:DATETIME


### バージョンなど
Amazon linux2
Embulk v0.9.23
embulk-input-mysql 0.10.1
embulk-output-mysql 0.8.7

2021/06/16 追記
下記のように修正し、embulkを実行したところ、エラーになりました。

```
in:
  type: mysql
  user: user
  password: password
  database: dbA
  table: tableA
  host: host
  select: id,TO_BASE64(DATA) as DATA
out:
  type: mysql
  user: user
  password: password
  database: dbA
  table: tableA
  column_options:
    DATA:
      type: longtext
  host: host
  mode: replace
  after_load: insert into tableA(id,DATA) select id,FROM_BASE64(DATA) from tableA;
```

Embulkでバイナリのデータがコピーできない

Bigqueryのテーブルにデータ型がFLOATの列があります。
FLOATの列を、NUMERICの列にしたいです。

特定列のみを指定してCAST関数で変換可能でしょうか？

また、Oracle⇒embulk⇒bigquery　でデータ型が自動的に変換されるのは仕様でしょうか？
embulkで事前にデータ型を指定して（NUMMERICになるように）bigqueryへインサートさせれば
想定通りのテーブルが構成されますでしょうか？

```ここに言語を入力
例、列名：ORDER_NO

Oracle：NUMBER(15)
↓自動解析
embulk:double
↓自動解析
bigquery:float

```

※OracleのVIEWは使用せず、対応したいです。

※2019/4/16
```ここに言語を入力
環境：oracle 12c、embulk 0.9.15

※Oracle定義

SQL> desc T_RS_TRAN
 名前                                      NULL?    型
 ----------------------------------------- -------- ----------------------------
 ORDER_NO                                  NOT NULL NUMBER(15)
 RS_TYPE                                   NOT NULL VARCHAR2(1)
 FACTORY_CODE                              NOT NULL VARCHAR2(4)
 ORG_CODE                                  NOT NULL VARCHAR2(3)
 TRAN_DATE                                 NOT NULL DATE
 HINBAN                                    NOT NULL VARCHAR2(40)
 QTY                                       NOT NULL NUMBER(11,2)
 SLIP_NO                                   NOT NULL VARCHAR2(10)
 ITEM_NO                                   NOT NULL VARCHAR2(2)
 DIVISION_NO                                        NUMBER(1)
 ●●
 ●●
 ●●
 INV_INFO_UPDATE_FLAG                               VARCHAR2(1)

※実行ログ
2019-04-16 16:47:24.274 +0900 [ERROR] (0001:transaction): embulk-output-bigquery: failed during waiting a Copy job, get_job(yzk-gcp-project, embulk_copy_job_ec19947a-757f-4119-9620-7ccdeb023777), errors:[{:reason=>"invalid", :message=>"Provided Schema does not match Table yzk-gcp-project:srdcs_data.T_RS_TRAN_20190416. Field ORDER_NO has changed type from NUMERIC to STRING"}]
2019-04-16 16:47:24.276 +0900 [INFO] (0001:transaction): embulk-output-bigquery: Delete table... yzk-gcp-project:srdcs_data.LOAD_TEMP_eb1cab64_4892_425b_bf29_d279cc655440_T_RS_TRAN_20190416
2019-04-16 16:47:24.590 +0900 [INFO] (0001:transaction): embulk-output-bigquery: delete /var/tmp/embulk_output_bigquery_20190416-15487-1vrnvze.15487.2004.csv
2019-04-16 16:47:24.590 +0900 [INFO] (0001:transaction): embulk-output-bigquery: delete /var/tmp/embulk_output_bigquery_20190416-15487-1vrnvze.15487.2006.csv
2019-04-16 16:47:24.591 +0900 [INFO] (0001:transaction): embulk-output-bigquery: delete /var/tmp/embulk_output_bigquery_20190416-15487-1vrnvze.15487.2008.csv
2019-04-16 16:47:24.591 +0900 [INFO] (0001:transaction): embulk-output-bigquery: delete /var/tmp/embulk_output_bigquery_20190416-15487-1vrnvze.15487.2010.csv
2019-04-16 16:47:24.591 +0900 [INFO] (0001:transaction): embulk-output-bigquery: delete /var/tmp/embulk_output_bigquery_20190416-15487-1vrnvze.15487.2012.csv
org.embulk.exec.PartialExecutionException: org.jruby.exceptions.RaiseException: (Error) failed during waiting a Copy job, get_job(yzk-gcp-project, embulk_copy_job_ec19947a-757f-4119-9620-7ccdeb023777), errors:[{:reason=>"invalid", :message=>"Provided Schema does not match Table yzk-gcp-project:srdcs_data.T_RS_TRAN_20190416. Field ORDER_NO has changed type from NUMERIC to STRING"}]
        at org.embulk.exec.BulkLoader$LoaderState.buildPartialExecuteException(BulkLoader.java:340)
        at org.embulk.exec.BulkLoader.doRun(BulkLoader.java:566)
        at org.embulk.exec.BulkLoader.access$000(BulkLoader.java:35)
        at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:353)
        at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:350)
        at org.embulk.spi.Exec.doWith(Exec.java:22)
        at org.embulk.exec.BulkLoader.run(BulkLoader.java:350)
        at org.embulk.EmbulkEmbed.run(EmbulkEmbed.java:178)
        at org.embulk.EmbulkRunner.runInternal(EmbulkRunner.java:292)
        at org.embulk.EmbulkRunner.run(EmbulkRunner.java:156)
        at org.embulk.cli.EmbulkRun.runSubcommand(EmbulkRun.java:436)
        at org.embulk.cli.EmbulkRun.run(EmbulkRun.java:91)
        at org.embulk.cli.Main.main(Main.java:64)
Caused by: org.jruby.exceptions.RaiseException: (Error) failed during waiting a Copy job, get_job(yzk-gcp-project, embulk_copy_job_ec19947a-757f-4119-9620-7ccdeb023777), errors:[{:reason=>"invalid", :message=>"Provided Schema does not match Table yzk-gcp-project:srdcs_data.T_RS_TRAN_20190416. Field ORDER_NO has changed type from NUMERIC to STRING"}]
        at RUBY.wait_load(/export/home/srdcs/.embulk/lib/gems/gems/embulk-output-bigquery-0.4.9/lib/embulk/output/bigquery/bigquery_client.rb:346)
        at RUBY.block in copy(/export/home/srdcs/.embulk/lib/gems/gems/embulk-output-bigquery-0.4.9/lib/embulk/output/bigquery/bigquery_client.rb:289)
        at RUBY.with_job_retry(/export/home/srdcs/.embulk/lib/gems/gems/embulk-output-bigquery-0.4.9/lib/embulk/output/bigquery/bigquery_client.rb:58)
        at RUBY.copy(/export/home/srdcs/.embulk/lib/gems/gems/embulk-output-bigquery-0.4.9/lib/embulk/output/bigquery/bigquery_client.rb:249)
        at RUBY.transaction(/export/home/srdcs/.embulk/lib/gems/gems/embulk-output-bigquery-0.4.9/lib/embulk/output/bigquery.rb:407)
        at RUBY.transaction(uri:classloader:/gems/embulk-0.9.15-java/lib/embulk/output_plugin.rb:64)

Error: org.jruby.exceptions.RaiseException: (Error) failed during waiting a Copy job, get_job(yzk-gcp-project, embulk_copy_job_ec19947a-757f-4119-9620-7ccdeb023777), errors:[{:reason=>"invalid", :message=>"Provided Schema does not match Table yzk-gcp-project:srdcs_data.T_RS_TRAN_20190416. Field ORDER_NO has changed type from NUMERIC to STRING"}]


●embulk定義
in:
  type: oracle
  path_prefix: null
  driver_path: /opt/oracle/product/12.1.0/db/jdbc/lib/ojdbc7.jar
  host: srdcs04
  user: srdcs
  password: srdcs
  database: srdcsc
  column_options:
     ORDER_NO: { value_type: string }
  query: |
     select
        trs.ORDER_NO,
        trs.RS_TYPE,
        trs.FACTORY_CODE,
        trs.ORG_CODE,
        trs.TRAN_DATE,
        trs.HINBAN,
        trs.QTY,
        trs.SLIP_NO,
        trs.ITEM_NO,
        trs.DIVISION_NO,
        trs.FROM_FACTORY_CODE,
        trs.FROM_ORG_CODE,
        trs.FROM_SUBINV_CODE,
        trs.FROM_VALUE_CODE,
        trs.FROM_OPERATOR_NAME,
        trs.TO_FACTORY_CODE,
        trs.TO_ORG_CODE,
        trs.TO_SUBINV_CODE,
        trs.TO_VALUE_CODE,
        trs.TO_OPERATOR_NAME,
        trs.SUB_SYSTEM_TYPE1,
        trs.CANCEL_FLAG,
        trs.ACT_CREATION_DATE,
        trs.WH_ACT_CREATION_DATE,
        trs.JOB_CODE,
        trs.UNIT_PRICE,
        trs.ERROR_STATUS,
        trs.DESCRIPTION,
        trs.LOCATION,
        trs.REVISION_NO,
        trs.OPE_CODE,
        trs.BOX_KIND,
        trs.DEMAND_NO,
        trs.SUB_NO,
        trs.TRAFFIC_NO,
        trs.IF_FLAG,
        trs.SELL_BUY_DATA_FLAG,
        trs.SOURCE_ORDER_NO,
        trs.FT_DEFINE_ID,
        trs.FROM_SELL_BUY_ID,
        trs.TO_SELL_BUY_ID,
        trs.CREATION_DATE,
        trs.CREATED_BY,
        trs.LAST_UPDATE_DATE,
        trs.LAST_UPDATED_BY,
        trs.UPDATE_REQUEST_ID,
        trs.TIME_STAMP,
        trs.INV_UPDATE_FLAG,
        trs.ISSUE_SEQ,
        trs.SOUMEI_ID,
        trs.GCPCS_IF_FLAG,
        trs.GCPCS_IF_CREATION_DATE,
        trs.RECIEPT_CODE,
        trs.DELIV_BIN_NO,
        trs.DELIV_NO,
        trs.RECV_BIN_NO,
        trs.SUB_SYSTEM_TYPE2,
        trs.SHIP_DATE,
        trs.C_NO,
        trs.T_NO,
        trs.RECV_OFFICE_CODE,
        trs.SR_IF_FLAG,
        trs.SR_IF_CREATION_DATE,
        trs.PS_IF_FLAG,
        trs.PS_IF_CREATION_DATE,
        trs.CUSTOMER_CODE,
        trs.KS_type,
        trs.SUPPLY_SECTION,
        trs.MANAGE_NO,
        trs.SEND_OFFICE_CODE,
        trs.SOUMEI_SLIP_NO,
        trs.SOUMEI_ITEM_NO,
        trs.PS_YAZAKI_HINBAN,
        trs.INVOICE_CASE_INFO_NO,
        trs.GYK_SITE_CODE,
        trs.CASE_NO,
        trs.CASE_SUB_NO,
        trs.FROM_LOCATION,
        trs.TO_LOCATION,
        trs.GYK_TRAN_type,
        trs.INV_INFO_UPDATE_FLAG,
        (select code_description from m_code where code_type = 'rs_type' and code  = trs.rs_type) rs_name,
        (select org_name from m_org where org_code = trs.org_code ) org_name,
        (select factory_name from m_factory where factory_code = trs.from_factory_code ) from_factory_name,
        (select org_name from m_org where org_code = trs.from_org_code ) from_org_name,
        (select subinv_name from m_subinv where org_code = trs.from_org_code and subinv_code = trs.from_subinv_code) from_subinv_name,
        (select factory_name from m_factory where factory_code = trs.to_factory_code ) to_factory_name,
        (select org_name from m_org where org_code = trs.to_org_code ) to_org_name,
        (select subinv_name from m_subinv where org_code = trs.to_org_code and subinv_code = trs.to_subinv_code) to_subinv_name,
        (select ope_code_name from m_ope_code where factory_code = trs.factory_code and ope_code = trs.ope_code) ope_code_name,
        (select sub_system_name1 from m_sub_system_type1 where sub_system_type1 = trs.sub_system_type1) sub_system_name1,
        (select code_description  from m_code where code_type= 'cancel_flag' and code= trs.cancel_flag) cancel_name,
        (select sub_system_name2 from m_sub_system_type2 where sub_system_type1 = trs.sub_system_type1 and sub_system_type2 = trs.sub_system_type2) sub_system_name2
     from
        T_RS_TRAN trs
     where
        IF_FLAG = '1' and TO_DATE(TRAN_DATE) >= TO_DATE('20190226','yyyyMMdd') and TO_DATE(TRAN_DATE) <= TO_DATE('20190227','yyyyMMdd')

out: {
type: bigquery, 
auth_method: json_key, 
json_keyfile: '/home1/bigquery/conf/My First Project-6041ffecfba7.json', 
project: fluid-emissary-216806, 
dataset: embulk_test, 
auto_create_table: true, 
table: T_RS_TRAN, 
open_read_timeout_sec: 360000, 
send_timeout_sec: 360000, 
read_timeout_sec: 360000}
```

bigqueryテーブルのデータ型変換につきまして

Embulkで増分バルクインサートする際に、incremental_columnsオプションを使っています。
連番でデータが蓄積されるカラム値をincremental_columnsに指定させたいので、特定のカラムを指定するとエラーが発生。

原因は、double型はサポートしていない。との事
しかしながら、Oracleで定義しているカラムのデータ型は、NUMBER型

根本原因が不明の状況となります。
定義や環境は以下となります。

```ここに言語を入力
環境：
Microsoft Windows 7 Enterprise  6.1.7601 Service Pack 1 ビルド 7601
Java 1.8.0_192
Oracle Database 12c Enterprise Edition Release 12.2.0.1.0 - 64bit Production
embulk (0.9.15 java)
embulk-input-oracle (0.9.3)
embulk-output-bigquery (0.4.9)
embulk-filter-timestamp_format (0.3.3)



■Oracle定義

SQL> desc T_RS_TRAN
 名前                                      NULL?    型
 ----------------------------------------- -------- ----------------------------
 ORDER_NO                                           NUMBER(15)
 

■Embulk定義
in:
  type: oracle
  path_prefix: null
  driver_path: xxxx\product\12.2.0\dbhome_1\sqldeveloper\jdbc\lib\ojdbc7.jar
  host: A0430-02396
  user: system
  password: ｘｘｘ
  database: ORCL
  table: T_RS_TRAN
  incremental_columns: [ORDER_NO]
  incremental: true
  columns:
    - {name: ORDER_NO, type: string}

■実行時のエラー

org.embulk.exec.PartialExecutionException: org.embulk.spi.DataException: Column type 'double' set at incremental_columns option is not supported
        at org.embulk.exec.BulkLoader$LoaderState.buildPartialExecuteException(BulkLoader.java:340)
        at org.embulk.exec.BulkLoader.doRun(BulkLoader.java:566)
        at org.embulk.exec.BulkLoader.access$000(BulkLoader.java:35)
        at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:353)
        at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:350)
        at org.embulk.spi.Exec.doWith(Exec.java:22)
        at org.embulk.exec.BulkLoader.run(BulkLoader.java:350)
        at org.embulk.EmbulkEmbed.run(EmbulkEmbed.java:178)
        at org.embulk.EmbulkRunner.runInternal(EmbulkRunner.java:292)
        at org.embulk.EmbulkRunner.run(EmbulkRunner.java:156)
        at org.embulk.cli.EmbulkRun.runSubcommand(EmbulkRun.java:436)
        at org.embulk.cli.EmbulkRun.run(EmbulkRun.java:91)
        at org.embulk.cli.Main.main(Main.java:64)
Caused by: org.embulk.spi.DataException: Column type 'double' set at incremental_columns option is not supported
        at org.embulk.input.jdbc.getter.AbstractColumnGetter.encodeToJson(org/embulk/input/jdbc/getter/AbstractColumnGetter.java:92)
        at org.embulk.input.jdbc.AbstractJdbcInputPlugin$LastRecordStore.accept(org/embulk/input/jdbc/AbstractJdbcInputPlugin.java:441)
        at org.embulk.input.jdbc.AbstractJdbcInputPlugin.run(org/embulk/input/jdbc/AbstractJdbcInputPlugin.java:490)
        at org.embulk.exec.LocalExecutorPlugin$ScatterExecutor.runInputTask(org/embulk/exec/LocalExecutorPlugin.java:269)
        at org.embulk.exec.LocalExecutorPlugin$ScatterExecutor.access$100(org/embulk/exec/LocalExecutorPlugin.java:194)
        at org.embulk.exec.LocalExecutorPlugin$ScatterExecutor$1.call(org/embulk/exec/LocalExecutorPlugin.java:233)
        at org.embulk.exec.LocalExecutorPlugin$ScatterExecutor$1.call(org/embulk/exec/LocalExecutorPlugin.java:230)
        at java.util.concurrent.FutureTask.run(java/util/concurrent/FutureTask)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(java/util/concurrent/ThreadPoolExecutor)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(java/util/concurrent/ThreadPoolExecutor$Worker)
        at java.lang.Thread.run(java/lang/Thread)

Error: org.embulk.spi.DataException: Column type 'double' set at incremental_columns option is not supported

```



```ここに言語を入力
■embulkによるseed.ymlファイルのpreview結果

2019-02-21 15:33:49.668 +0900: Embulk v0.9.15
2019-02-21 15:33:50.042 +0900 [WARN] (main): DEPRECATION: JRuby org.jruby.embed.ScriptingContainer is directly injected.
2019-02-21 15:33:52.433 +0900 [INFO] (main): Gem's home and path are set by default: "C:\Users\yazaki.embulk\lib\gems"
2019-02-21 15:33:53.222 +0900 [INFO] (main): Started Embulk v0.9.15
2019-02-21 15:33:53.284 +0900 [INFO] (0001:preview): Loaded plugin embulk-input-oracle (0.9.3)
2019-02-21 15:33:53.315 +0900 [INFO] (0001:preview): Connecting to jdbc:oracle:thin:@A0430-02396:1521:ORCL options {oracle.jdbc.ReadTimeout=1800000, user=system, password=***, oracle.net.CONNECT_TIMEOUT=300000}
2019-02-21 15:33:53.690 +0900 [INFO] (0001:preview): Using JDBC Driver 12.1.0.2.0
2019-02-21 15:33:53.846 +0900 [INFO] (0001:preview): Connecting to jdbc:oracle:thin:@A0430-02396:1521:ORCL options {oracle.jdbc.ReadTimeout=1800000, user=system, password=***, oracle.net.CONNECT_TIMEOUT=300000}
2019-02-21 15:33:53.939 +0900 [INFO] (0001:preview): SQL: SELECT * FROM "T_RS_TRAN" ORDER BY "ORDER_NO"
2019-02-21 15:33:53.955 +0900 [INFO] (0001:preview): > 0.02 seconds
+-----------------+----------------+---------------------+-----------------+
| ORDER_NO:double | RS_TYPE:string | FACTORY_CODE:string | ORG_CODE:string |
+-----------------+----------------+---------------------+-----------------+
|     2.1002419E7 |              1 |                8000 |             MQ9 |
|      2.100242E7 |              1 |                7500 |             TWP |
|      2.100243E7 |              1 |                7500 |             5BN |



■Oracleに取り込んだデータ

"21023317","2","8100","XD9",2018/06/26,"VHP5FUH3F78C",1,"38A8U","06",0,"ZZZ"
"21023321","2","8000","7J7",2018/07/14,"YT98FCU5ZSG5",50,"I0ZSCQX0","30",0,"


SQL> desc T_RS_TRAN
 名前                                      NULL?    型
 ----------------------------------------- -------- ----------------------------
 ORDER_NO                                           NUMBER(15)
 RS_TYPE                                            VARCHAR2(1)
 FACTORY_CODE                                       VARCHAR2(4)
 ORG_CODE                                           VARCHAR2(3)
 TRAN_DATE                                          DATE

```

embulkのincremental_columns定義とOracleの定義不一致によるエラー

solaris 11の環境で、シェルスクリプトを作成し実行テストをしたところ成功しました。
cronに登録してスケジュール実行させると失敗します。

原因不明の状況です。

```ここに言語を入力
■実行ユーザの権限 srdcsユーザ
srdcs04% env
USER=srdcs
LOGNAME=srdcs
HOME=/export/home/srdcs
PATH=/bin:/usr/bin:/usr/ucb:/etc:.:/usr/sfw/bin/gcc:/export/home/srdcs/embulk_test/bin/embulk
MAIL=/var/mail//srdcs
SHELL=/bin/csh
TZ=Japan
LANG=ja
TERM=xterm
DISPLAY=localhost:14.0
PWD=/export/home/srdcs

■crontab設定

srdcs04% crontab -l

0,10,20,30,40,50 * * * * /bin/bash /export/home/xxxxxx/embulk_test/sh/bulkinsert_T_RS_TRAN.sh

■シェルスクリプト
srdcs04% cat /export/home/xxxxxx/embulk_test/sh/bulkinsert_T_RS_TRAN.sh
#
# 環境変数設定
#

export EMBULK_CMD="/export/home/xxxxxx/embulk_test/bin/embulk/embulk-0.9.15.jar run"
export EMBULK_CONF="/export/home/xxxxxx/embulk_test/conf/config_incremental_T_RS_TRAN.yml.liquid"
export EMBULK_DIFF="-c /export/home/xxxxxx/embulk_test/conf/diff_T_RS_TRAN.yml"
export EMBULK_LOG="/export/home/xxxxxx/embulk_test/log/bulkinsert_T_RS_TRAN.log"
export MAIL_CMD="/usr/sbin/sendmail"
export mail_T_RS_TRAN_file="/export/home/xxxxxx/embulk_test/mail/mail_T_RS_TRAN_file"
export CHECK_T_RS_TRAN_LOG="/export/home/xxxxxx/embulk_test/mail/check_T_RS_TRAN.log"
export ERROR_CODE_001="Error"
export TIME="`date '+%y/%m/%d %H:%M:%S'`"
export MAIL_CMD="/usr/sbin/sendmail"
export mail_T_RS_TRAN_file="/export/home/xxxxxx/embulk_test/mail/mail_T_RS_TRAN_file"
export CHECK_T_RS_TRAN_LOG="/export/home/xxxxxx/embulk_test/mail/check_T_RS_TRAN.log"
#export MAIL_LIST="/export/home/xxxxxx/embulk_test/mail/mail.list"
export ADDR="xxx@xxx"
export ERROR_CODE_001="Error"

#
# メールヘッダ部作成
#

echo "====================="    >> ${mail_T_RS_TRAN_file}
echo "DATE : ${TIME}"           >> ${mail_T_RS_TRAN_file}
echo "HOST : `hostname`"        >> ${mail_T_RS_TRAN_file}
echo "====================="    >> ${mail_T_RS_TRAN_file}
echo "Message:"                 >> ${mail_T_RS_TRAN_file}

#
# バルクインサート実行
#

${EMBULK_CMD} ${EMBULK_CONF} ${EMBULK_DIFF} >> ${EMBULK_LOG}

if [ $? -ne "0" ]; then
   echo "====================="  >> ${CHECK_T_RS_TRAN_LOG}
   echo "DATE : ${TIME}"         >> ${CHECK_T_RS_TRAN_LOG}
   echo "Embulk command Error T_RS_TRAN_TABLE" >> ${CHECK_T_RS_TRAN_LOG}
   echo "Embulk command Error T_RS_TRAN_TABLE" >> ${mail_T_RS_TRAN_file}
   ${MAIL_CMD} -f embulk_srdcs04@jp.xxxxx.com ${ADDR} < ${mail_T_RS_TRAN_file}
   exit 1
fi
echo "====================="    >> ${CHECK_T_RS_TRAN_LOG}
echo "DATE : ${TIME}"                   >> ${CHECK_T_RS_TRAN_LOG}
echo "Embulk command success T_RS_TRAN_TABLE"   >> ${CHECK_T_RS_TRAN_LOG}

#
# ログファイルチェック
#

while :;
do
  cat ${EMBULK_LOG} | grep "${ERROR_CODE_001}" >> ${mail_T_RS_TRAN_file}
      if [ $? = "0" ];then
        echo "====================="  >> ${CHECK_T_RS_TRAN_LOG}
        echo "DATE : ${TIME}"         >> ${CHECK_T_RS_TRAN_LOG}
        echo "Embulk Log Error T_RS_TRAN_TABLE" >> ${CHECK_T_RS_TRAN_LOG}
        ${MAIL_CMD} -f embulk_srdcs04@jp.xxxxx.com ${ADDR} < ${mail_T_RS_TRAN_file}
        exit 1
      else
        break
      fi
done

#
# ログ整理
#
echo "====================="    >> ${CHECK_T_RS_TRAN_LOG}
echo "DATE : ${TIME}"                   >> ${CHECK_T_RS_TRAN_LOG}
echo "Embulk Log success T_RS_TRAN_TABLE"   >> ${CHECK_T_RS_TRAN_LOG}

rm -r ${mail_T_RS_TRAN_file}

exit 0


■実行結果
srdcs04% tail -f check_T_RS_TRAN.log
=====================
DATE : 19/03/05 15:00:00
Embulk command Error T_RS_TRAN_TABLE


■cronの権限
srdcs04% ls -ltrh /var/spool/cron/crontabs

-rw-------   1 root     xxxxxx       1.2K  3月  5日  15:20 srdcs


```

cronでスケジュールしたシェルスクリプトが実行されない

embulkを使ってOracle12cのデータを転送する際に、embulkが使用するjavaヒープサイズの最大値を指定したいです。

```ここに言語を入力
embulk -J -Xmx100m run config.yml

※例では100MBにしています。
※実業務で転送する場合の対象データについて

転送時間：約10分間
転送間隔：10分に1度
転送回数：終日（業務時間帯3:30～翌日2:30）
1度に転送されるデータ容量：約1GB
1度に転送されるレコード件数：約180万件
1レコードのカラム数：約80カラム
マシンスペック：物理メモリ128GB、スワップ領域20GB、内蔵ディスク1.2TB
OS：Solaris 11（project.max-shm-memory：共有メモリ64GB）
MW:Oracle 12c(projmod -sK "project.max-shm-memory=(privileged,64G,deny)"default)：インストール用に64GB利用)
```

※embulk実行時に利用させるjavaヒープサイズの最大値で妥当な値を算出したいです。

embulk実行時のJavaヒープサイズ

### 前提・実現したいこと

embulk でGoogle Analytics データを Bigquieryに転送しようとしています。
下記URLを参考に実装してみました。
https://qiita.com/godgarden/items/6309f842aeb0eb29a168

データの転送自体は出来ているようなのですが、エラーメッセージが表示されます。
データ転送の確認はBigqueryで直接確認しています。

### 発生している問題・エラーメッセージ

```
org.embulk.exec.PartialExecutionException: org.jruby.exceptions.RaiseException: (ArgumentError) unknown keyword: location
        at org.embulk.exec.BulkLoader$LoaderState.buildPartialExecuteException(BulkLoader.java:340)
        at org.embulk.exec.BulkLoader.doRun(BulkLoader.java:566)
        at org.embulk.exec.BulkLoader.access$000(BulkLoader.java:35)
        at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:353)
        at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:350)
        at org.embulk.spi.Exec.doWith(Exec.java:22)
        at org.embulk.exec.BulkLoader.run(BulkLoader.java:350)
        at org.embulk.EmbulkEmbed.run(EmbulkEmbed.java:205)
        at org.embulk.EmbulkRunner.runInternal(EmbulkRunner.java:292)
        at org.embulk.EmbulkRunner.run(EmbulkRunner.java:156)
        at org.embulk.cli.EmbulkRun.runSubcommand(EmbulkRun.java:433)
        at org.embulk.cli.EmbulkRun.run(EmbulkRun.java:90)
        at org.embulk.cli.Main.main(Main.java:64)
Caused by: org.jruby.exceptions.RaiseException: (ArgumentError) unknown keyword: location
        at RUBY.get_job(/root/.embulk/lib/gems/gems/google-api-client-0.10.1/generated/google/apis/bigquery_v2/service.rb:321)
        at RUBY.block in wait_load(/root/.embulk/lib/gems/gems/embulk-output-bigquery-0.6.4/lib/embulk/output/bigquery/bigquery_client.rb:321)
        at RUBY.with_network_retry(/root/.embulk/lib/gems/gems/embulk-output-bigquery-0.6.4/lib/embulk/output/bigquery/google_client.rb:51)
        at RUBY.wait_load(/root/.embulk/lib/gems/gems/embulk-output-bigquery-0.6.4/lib/embulk/output/bigquery/bigquery_client.rb:321)
        at RUBY.block in load(/root/.embulk/lib/gems/gems/embulk-output-bigquery-0.6.4/lib/embulk/output/bigquery/bigquery_client.rb:228)
        at RUBY.with_job_retry(/root/.embulk/lib/gems/gems/embulk-output-bigquery-0.6.4/lib/embulk/output/bigquery/bigquery_client.rb:58)
        at RUBY.load(/root/.embulk/lib/gems/gems/embulk-output-bigquery-0.6.4/lib/embulk/output/bigquery/bigquery_client.rb:168)
        at RUBY.block in load_in_parallel(/root/.embulk/lib/gems/gems/embulk-output-bigquery-0.6.4/lib/embulk/output/bigquery/bigquery_client.rb:156)     

Error: org.jruby.exceptions.RaiseException: (ArgumentError) unknown keyword: location
```

### 該当のソースコード

```yamlファイル
{% assign table_name='vt_test' %}
in:
  type: google_analytics
  auth_method: service_account
  json_key_content: |
    { "type": "service_account", ...}
  view_id: 1XXXXXXXXX
  time_series: "ga:dateHour" # hourly basis
  dimensions:
    - "ga:eventCategory"
    - "ga:eventAction"
    - "ga:eventLabel"
  metrics:
    - "ga:totalEvents"
  start_date: "2020-06-01"
  end_date: "2020-06-02"
out:
  type: bigquery
  auth_method: json_key
  allow_quoted_newlines: 1
  json_keyfile: service_accountのPATH
  path_prefix: /tmp/
  file_ext: .csv.gz
  source_format: CSV
  project: 1XXX
  dataset: test
  mode: append_direct
  auto_create_table: {{ auto_create_table }}
  table: {{ table_name }}
  formatter: {type: csv, charset: UTF-8, delimiter: ',', header_line: false}
  default_timezone: UTC
  encoders:
  - {type: gzip}
```

### 試したこと

yamlの設定にlocationを追加したり、エラーメッセージを検索したりしましたが、
解決しませんでした。