常連

### 前提・実現したいこと

embulkを利用しFTPでファイルを取得し、取得したファイルをFTPで出力したいと考えております。
1つのファイルを取得し出力する際、2つのファイルに分割されてしまいます。
1つのファイルに出力したいのですが、設定方法等お気づきの点があればお教えいただけますと幸いです。

ファイル取得には「embulk-input-ftp」、ファイル出力には「embulk-output-ftp」のプラグインを利用しています。

実行環境の情報は以下になります。
マシンスペック：2vCPU、8GiB
OS : WindowsServer 2008 R2
java : openjdk version "1.8.0_212"
embulk : embulk 0.9.17
embulk-input-ftp : embulk-input-ftp-0.2.0
embulk-output-ftp : embulk-output-ftp-0.2.2


不足情報等あればお気軽に教えていただけますと助かります。

### 発生している問題・エラーメッセージ
取り込み対象のファイルと出力されるファイルは以下になります。

■取り込み対象のファイル(test_purchase_log_20180802.csv)
```
time,member_id,goods_id,ship_date,ammount,total
2019-03-18 22:41:22,0001,0001,2019-09-2,3,1000
2019-03-18 22:41:33,0002,0002,2019-09-2,3,1000
2019-03-18 22:41:44,0003,0003,2019-09-2,3,1000
2019-03-18 22:41:55,0001,0003,2019-09-2,1,1000
2019-03-18 22:42:11,0001,0002,2019-09-2,2,1000
2019-03-18 22:42:11,0002,0003,2019-09-2,3,1000
```

■出力されるファイル1(test000.00.csv)
```
time,member_id,goods_id,ship_date,ammount,total
2019-03-18 22:41:22.000000 +0000,0001,0001,2019-09-02 00:00:00.000000 +0000,3,1000
2019-03-18 22:41:33.000000 +0000,0002,0002,2019-09-02 00:00:00.000000 +0000,3,1000
2019-03-18 22:41:44.000000 +0000,0003,0003,2019-09-02 00:00:00.000000 +0000,3,1000
2019-03-18 22:41:55.000000 +0000,0001,0003,2019-09-02 00:00:00.000000 +0000,1,1000
2019-03-18 22:42:11.000000 +0000,0001,0002,2019-09-02 00:00:00.000000 +0000,2,1000
2019-03-18 22:42:11.000000 +0000,0002,0003,2019-09-02 00:00:00.000000 +0000,3,1000
```

■出力されるファイル2(test001.00.csv)
```
time,member_id,goods_id,ship_date,ammount,total
```

### embulk設定ファイル
embulkの設定ファイルは以下になります。

```yml.liquid
in:
  type: ftp
  host: xxxxx
  port: 21
  user: xxxxx
  password: xxxxx
  path_prefix: /test_purchase_log
  parser:
    charset: UTF-8
    newline: CRLF
    type: csv
    delimiter: ','
    quote: '"'
    escape: '"'
    trim_if_not_quoted: false
    skip_header_lines: 1
    allow_extra_columns: false
    allow_optional_columns: false
    columns:
    - {name: time, type: timestamp, format: '%Y-%m-%d %H:%M:%S'}
    - {name: member_id, type: string}
    - {name: goods_id, type: string}
    - {name: ship_date, type: timestamp, format: '%Y-%m-%d'}
    - {name: ammount, type: long}
    - {name: total, type: long}
out:
  type: ftp
  host: xxxxx
  port: 21
  user: xxxxx
  password: xxxxx
  path_prefix: test
  file_ext: csv
  formatter: {type: csv, header_line: true}
```

### 試したこと

・複数ファイルを入力にする場合は想定通りの動作となります。（inputファイル数＝outputファイル数となります。）
・マシンスペックを1vCPU、4GiBにすると1つのファイルへ出力されます。
・マシンスペックを4vCPU、16GiBにすると4つのファイルへ分割されて出力されます。出力された4つのファイルは「test000.00.csv」と「test001.00.csv」、「test002.00.csv」、「test003.00.csv」が出力されます。
「test000.00.csv」と「test001.00.csv」は上記と同じファイルが出力され、「test002.00.csv」、「test003.00.csv」は「test001.00.csv」と同じファイルが出力されます。

embulkを利用し単一のファイルを取り込み出力する際に複数にファイルに分割されてしまう

### 前提・実現したいこと

embulkでRDStoRDSでコピーをしたいのですが、バイナリデータがサポートされていていないようで、エラーになります。
エラーメッセージの通り、columnA: {value_type: string}を追加しても解消されませんでした。

何か回避方法をご存知であれば、教えて頂けると助かります。。

### 発生している問題・エラーメッセージ

```
Caused by: java.lang.UnsupportedOperationException: Unsupported type MEDIUMBLOB (sqlType=-4) of 'DATA' column. Please add 'columnA: {value_type: string}' to 'column_options: {...}' option to convert the values to strings, or exclude the column from 'select:' option
```

### コード

_input.yml.liquid

```
in:
  type: mysql
  host: {{ env.IN_MYSQL_HOST }}
  user: {{ env.IN_MYSQL_USER }}
  password: {{ env.IN_MYSQL_PASSWORD }}
  database: dbA
  select: "*"
  options: {useLegacyDatetimeCode: false, serverTimezone: Asia/Tokyo}

```

_output.yml.liquid

```
out:
  type: mysql
  mode: replace
  host: {{ env.OUT_MYSQL_HOST }}
  user: {{ env.OUT_MYSQL_USER }}
  password: {{ env.OUT_MYSQL_PASSWORD }}
  database: dbA
  select: "*"
```

config.yml.liquid
```
{% include 'input' %}
  table: tableA
{% include 'output' %}
  table: tableA
  column_options:
    DATA: {value_type: string}
```

### テーブル定義
ID:INT
DATA:MEDIUMBLOB
CREATED_DATE:DATETIME
UPDATED_DATE:DATETIME


### バージョンなど
Amazon linux2
Embulk v0.9.23
embulk-input-mysql 0.10.1
embulk-output-mysql 0.8.7

2021/06/16 追記
下記のように修正し、embulkを実行したところ、エラーになりました。

```
in:
  type: mysql
  user: user
  password: password
  database: dbA
  table: tableA
  host: host
  select: id,TO_BASE64(DATA) as DATA
out:
  type: mysql
  user: user
  password: password
  database: dbA
  table: tableA
  column_options:
    DATA:
      type: longtext
  host: host
  mode: replace
  after_load: insert into tableA(id,DATA) select id,FROM_BASE64(DATA) from tableA;
```

Embulkでバイナリのデータがコピーできない

web上でcsvファイルをアップロードし、embulkというツールを使ってdbに保存するというwebアプリケーションを現在作っています。
以下が問題の部分です。
```php
$embulkShell = "embulk run " . APPLICATION_PATH .  "/../data/upload/config.yml";
$output = shell_exec($embulkShell . ' 2>&1');
echo $output;
```
アップロード後、上記のembulkコマンドをたたくと以下のエラーになります。
```php
sh: embulk: command not found
```
パスは以下のように通っているのですが、うまくいきません。
```php
echo get_include_path();

出力結果
/home/ec2-user/work/uploader/application/../library:/home/ec2-user/work/uploader/library:/home/ec2-user/work/uploader/embulk/bin:.:/usr/share/php:/usr/share/pear
```

以下のように絶対パスで実行すれば動きそうなのですがrunコマンドで別のembulkコマンドを呼び出しており、結局そこで"command not found"になってしまうのでパスを通して実行したいです。
```php
$embulkShell = "/home/ec2-user/work/uploader/embulk/bin/embulk run " . APPLICATION_PATH .  "/../data/upload/config.yml";
```

実行権限は付与しています。
```bash
chmod +x /home/ec2-user/work/uploader/embulk/bin/embulk
```

また、サーバー側で直接コマンドをたたくと実行できたので、クライアントで行う際に問題があると思われます。


どうかご教授お願いいたします。


環境
Linux version 4.1.10-17.31.amzn1.x86_64
Apache/2.2.31 (Unix)
PHP 5.3.29
ZendFramework 1.12.17
Embulk v0.8.2

PHPでshell_exec()を実行すると、パスを通してるのに"command not found"となる

Bigqueryのテーブルにデータ型がFLOATの列があります。
FLOATの列を、NUMERICの列にしたいです。

特定列のみを指定してCAST関数で変換可能でしょうか？

また、Oracle⇒embulk⇒bigquery　でデータ型が自動的に変換されるのは仕様でしょうか？
embulkで事前にデータ型を指定して（NUMMERICになるように）bigqueryへインサートさせれば
想定通りのテーブルが構成されますでしょうか？

```ここに言語を入力
例、列名：ORDER_NO

Oracle：NUMBER(15)
↓自動解析
embulk:double
↓自動解析
bigquery:float

```

※OracleのVIEWは使用せず、対応したいです。

※2019/4/16
```ここに言語を入力
環境：oracle 12c、embulk 0.9.15

※Oracle定義

SQL> desc T_RS_TRAN
 名前                                      NULL?    型
 ----------------------------------------- -------- ----------------------------
 ORDER_NO                                  NOT NULL NUMBER(15)
 RS_TYPE                                   NOT NULL VARCHAR2(1)
 FACTORY_CODE                              NOT NULL VARCHAR2(4)
 ORG_CODE                                  NOT NULL VARCHAR2(3)
 TRAN_DATE                                 NOT NULL DATE
 HINBAN                                    NOT NULL VARCHAR2(40)
 QTY                                       NOT NULL NUMBER(11,2)
 SLIP_NO                                   NOT NULL VARCHAR2(10)
 ITEM_NO                                   NOT NULL VARCHAR2(2)
 DIVISION_NO                                        NUMBER(1)
 ●●
 ●●
 ●●
 INV_INFO_UPDATE_FLAG                               VARCHAR2(1)

※実行ログ
2019-04-16 16:47:24.274 +0900 [ERROR] (0001:transaction): embulk-output-bigquery: failed during waiting a Copy job, get_job(yzk-gcp-project, embulk_copy_job_ec19947a-757f-4119-9620-7ccdeb023777), errors:[{:reason=>"invalid", :message=>"Provided Schema does not match Table yzk-gcp-project:srdcs_data.T_RS_TRAN_20190416. Field ORDER_NO has changed type from NUMERIC to STRING"}]
2019-04-16 16:47:24.276 +0900 [INFO] (0001:transaction): embulk-output-bigquery: Delete table... yzk-gcp-project:srdcs_data.LOAD_TEMP_eb1cab64_4892_425b_bf29_d279cc655440_T_RS_TRAN_20190416
2019-04-16 16:47:24.590 +0900 [INFO] (0001:transaction): embulk-output-bigquery: delete /var/tmp/embulk_output_bigquery_20190416-15487-1vrnvze.15487.2004.csv
2019-04-16 16:47:24.590 +0900 [INFO] (0001:transaction): embulk-output-bigquery: delete /var/tmp/embulk_output_bigquery_20190416-15487-1vrnvze.15487.2006.csv
2019-04-16 16:47:24.591 +0900 [INFO] (0001:transaction): embulk-output-bigquery: delete /var/tmp/embulk_output_bigquery_20190416-15487-1vrnvze.15487.2008.csv
2019-04-16 16:47:24.591 +0900 [INFO] (0001:transaction): embulk-output-bigquery: delete /var/tmp/embulk_output_bigquery_20190416-15487-1vrnvze.15487.2010.csv
2019-04-16 16:47:24.591 +0900 [INFO] (0001:transaction): embulk-output-bigquery: delete /var/tmp/embulk_output_bigquery_20190416-15487-1vrnvze.15487.2012.csv
org.embulk.exec.PartialExecutionException: org.jruby.exceptions.RaiseException: (Error) failed during waiting a Copy job, get_job(yzk-gcp-project, embulk_copy_job_ec19947a-757f-4119-9620-7ccdeb023777), errors:[{:reason=>"invalid", :message=>"Provided Schema does not match Table yzk-gcp-project:srdcs_data.T_RS_TRAN_20190416. Field ORDER_NO has changed type from NUMERIC to STRING"}]
        at org.embulk.exec.BulkLoader$LoaderState.buildPartialExecuteException(BulkLoader.java:340)
        at org.embulk.exec.BulkLoader.doRun(BulkLoader.java:566)
        at org.embulk.exec.BulkLoader.access$000(BulkLoader.java:35)
        at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:353)
        at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:350)
        at org.embulk.spi.Exec.doWith(Exec.java:22)
        at org.embulk.exec.BulkLoader.run(BulkLoader.java:350)
        at org.embulk.EmbulkEmbed.run(EmbulkEmbed.java:178)
        at org.embulk.EmbulkRunner.runInternal(EmbulkRunner.java:292)
        at org.embulk.EmbulkRunner.run(EmbulkRunner.java:156)
        at org.embulk.cli.EmbulkRun.runSubcommand(EmbulkRun.java:436)
        at org.embulk.cli.EmbulkRun.run(EmbulkRun.java:91)
        at org.embulk.cli.Main.main(Main.java:64)
Caused by: org.jruby.exceptions.RaiseException: (Error) failed during waiting a Copy job, get_job(yzk-gcp-project, embulk_copy_job_ec19947a-757f-4119-9620-7ccdeb023777), errors:[{:reason=>"invalid", :message=>"Provided Schema does not match Table yzk-gcp-project:srdcs_data.T_RS_TRAN_20190416. Field ORDER_NO has changed type from NUMERIC to STRING"}]
        at RUBY.wait_load(/export/home/srdcs/.embulk/lib/gems/gems/embulk-output-bigquery-0.4.9/lib/embulk/output/bigquery/bigquery_client.rb:346)
        at RUBY.block in copy(/export/home/srdcs/.embulk/lib/gems/gems/embulk-output-bigquery-0.4.9/lib/embulk/output/bigquery/bigquery_client.rb:289)
        at RUBY.with_job_retry(/export/home/srdcs/.embulk/lib/gems/gems/embulk-output-bigquery-0.4.9/lib/embulk/output/bigquery/bigquery_client.rb:58)
        at RUBY.copy(/export/home/srdcs/.embulk/lib/gems/gems/embulk-output-bigquery-0.4.9/lib/embulk/output/bigquery/bigquery_client.rb:249)
        at RUBY.transaction(/export/home/srdcs/.embulk/lib/gems/gems/embulk-output-bigquery-0.4.9/lib/embulk/output/bigquery.rb:407)
        at RUBY.transaction(uri:classloader:/gems/embulk-0.9.15-java/lib/embulk/output_plugin.rb:64)

Error: org.jruby.exceptions.RaiseException: (Error) failed during waiting a Copy job, get_job(yzk-gcp-project, embulk_copy_job_ec19947a-757f-4119-9620-7ccdeb023777), errors:[{:reason=>"invalid", :message=>"Provided Schema does not match Table yzk-gcp-project:srdcs_data.T_RS_TRAN_20190416. Field ORDER_NO has changed type from NUMERIC to STRING"}]


●embulk定義
in:
  type: oracle
  path_prefix: null
  driver_path: /opt/oracle/product/12.1.0/db/jdbc/lib/ojdbc7.jar
  host: srdcs04
  user: srdcs
  password: srdcs
  database: srdcsc
  column_options:
     ORDER_NO: { value_type: string }
  query: |
     select
        trs.ORDER_NO,
        trs.RS_TYPE,
        trs.FACTORY_CODE,
        trs.ORG_CODE,
        trs.TRAN_DATE,
        trs.HINBAN,
        trs.QTY,
        trs.SLIP_NO,
        trs.ITEM_NO,
        trs.DIVISION_NO,
        trs.FROM_FACTORY_CODE,
        trs.FROM_ORG_CODE,
        trs.FROM_SUBINV_CODE,
        trs.FROM_VALUE_CODE,
        trs.FROM_OPERATOR_NAME,
        trs.TO_FACTORY_CODE,
        trs.TO_ORG_CODE,
        trs.TO_SUBINV_CODE,
        trs.TO_VALUE_CODE,
        trs.TO_OPERATOR_NAME,
        trs.SUB_SYSTEM_TYPE1,
        trs.CANCEL_FLAG,
        trs.ACT_CREATION_DATE,
        trs.WH_ACT_CREATION_DATE,
        trs.JOB_CODE,
        trs.UNIT_PRICE,
        trs.ERROR_STATUS,
        trs.DESCRIPTION,
        trs.LOCATION,
        trs.REVISION_NO,
        trs.OPE_CODE,
        trs.BOX_KIND,
        trs.DEMAND_NO,
        trs.SUB_NO,
        trs.TRAFFIC_NO,
        trs.IF_FLAG,
        trs.SELL_BUY_DATA_FLAG,
        trs.SOURCE_ORDER_NO,
        trs.FT_DEFINE_ID,
        trs.FROM_SELL_BUY_ID,
        trs.TO_SELL_BUY_ID,
        trs.CREATION_DATE,
        trs.CREATED_BY,
        trs.LAST_UPDATE_DATE,
        trs.LAST_UPDATED_BY,
        trs.UPDATE_REQUEST_ID,
        trs.TIME_STAMP,
        trs.INV_UPDATE_FLAG,
        trs.ISSUE_SEQ,
        trs.SOUMEI_ID,
        trs.GCPCS_IF_FLAG,
        trs.GCPCS_IF_CREATION_DATE,
        trs.RECIEPT_CODE,
        trs.DELIV_BIN_NO,
        trs.DELIV_NO,
        trs.RECV_BIN_NO,
        trs.SUB_SYSTEM_TYPE2,
        trs.SHIP_DATE,
        trs.C_NO,
        trs.T_NO,
        trs.RECV_OFFICE_CODE,
        trs.SR_IF_FLAG,
        trs.SR_IF_CREATION_DATE,
        trs.PS_IF_FLAG,
        trs.PS_IF_CREATION_DATE,
        trs.CUSTOMER_CODE,
        trs.KS_type,
        trs.SUPPLY_SECTION,
        trs.MANAGE_NO,
        trs.SEND_OFFICE_CODE,
        trs.SOUMEI_SLIP_NO,
        trs.SOUMEI_ITEM_NO,
        trs.PS_YAZAKI_HINBAN,
        trs.INVOICE_CASE_INFO_NO,
        trs.GYK_SITE_CODE,
        trs.CASE_NO,
        trs.CASE_SUB_NO,
        trs.FROM_LOCATION,
        trs.TO_LOCATION,
        trs.GYK_TRAN_type,
        trs.INV_INFO_UPDATE_FLAG,
        (select code_description from m_code where code_type = 'rs_type' and code  = trs.rs_type) rs_name,
        (select org_name from m_org where org_code = trs.org_code ) org_name,
        (select factory_name from m_factory where factory_code = trs.from_factory_code ) from_factory_name,
        (select org_name from m_org where org_code = trs.from_org_code ) from_org_name,
        (select subinv_name from m_subinv where org_code = trs.from_org_code and subinv_code = trs.from_subinv_code) from_subinv_name,
        (select factory_name from m_factory where factory_code = trs.to_factory_code ) to_factory_name,
        (select org_name from m_org where org_code = trs.to_org_code ) to_org_name,
        (select subinv_name from m_subinv where org_code = trs.to_org_code and subinv_code = trs.to_subinv_code) to_subinv_name,
        (select ope_code_name from m_ope_code where factory_code = trs.factory_code and ope_code = trs.ope_code) ope_code_name,
        (select sub_system_name1 from m_sub_system_type1 where sub_system_type1 = trs.sub_system_type1) sub_system_name1,
        (select code_description  from m_code where code_type= 'cancel_flag' and code= trs.cancel_flag) cancel_name,
        (select sub_system_name2 from m_sub_system_type2 where sub_system_type1 = trs.sub_system_type1 and sub_system_type2 = trs.sub_system_type2) sub_system_name2
     from
        T_RS_TRAN trs
     where
        IF_FLAG = '1' and TO_DATE(TRAN_DATE) >= TO_DATE('20190226','yyyyMMdd') and TO_DATE(TRAN_DATE) <= TO_DATE('20190227','yyyyMMdd')

out: {
type: bigquery, 
auth_method: json_key, 
json_keyfile: '/home1/bigquery/conf/My First Project-6041ffecfba7.json', 
project: fluid-emissary-216806, 
dataset: embulk_test, 
auto_create_table: true, 
table: T_RS_TRAN, 
open_read_timeout_sec: 360000, 
send_timeout_sec: 360000, 
read_timeout_sec: 360000}
```

bigqueryテーブルのデータ型変換につきまして

### 実現したいこと

Digdagのバージョンを0.10.4→0.10.5にアップデートを実施しました。
アップデートを実施したのちデータ転送基盤の正常性を確認したところ、Digdagでスケジュール通りにワークフローが実行されない事象(3時間以上の遅延)を確認しています。
本遅延の原因の解明、および事象解消したく検討しています。


### 前提

AWS Fargate上でDigdag serverコンテナ+Digdag workerコンテナ+Embulkコンテナでデータ転送基盤を構築しています。
環境: Digdag: 0.10.4→0.10.5
	Amazon Linux:
	public.ecr.aws/amazonlinux/amazonlinux:2.0.20230119.1
	→public.ecr.aws/amazonlinux/amazonlinux:2.0.20230628.0
	Farggate Spot
	Postgre SQL:13.10
設定ファイル: 
sla.dig
```
sla:
  #duration: 時:分:秒（経過時間）
  duration: 01:00:00
  fail: false
  +notice:
    echo>: "[WARN] Execution Time 60 minutes Exceeded." 
```
schedule.dig
```
schedule:
  hourly>: 00:00
  skip_on_overtime: false
```

ログ: 
原因となるログが確認できていません。
scheduler等をDigdagのOS標準出力のログを確認していますが、上記SLA違反(3時間以上の遅延によるdurationを超えたログ)は確認しています。
```
[CRITICAL] Execution Time 60 minutes Exceeded.
```

### 発生している問題・エラーメッセージ

スケジュール通りにワークフローが実行されない（遅延している）以外はワークフローの実行等にError等は出ていません。

### 該当のソースコード

2023-10-02 10:15:00+09 実行時 digdag_dbにて以下コマンドを実行。

digdag_db=>   SELECT
digdag_db->   s.id, p.name AS project_name, w.name AS workflow_name,
digdag_db->   to_timestamp(s.next_run_time) AS next_run_time,
digdag_db->   to_timestamp(s.next_schedule_time) next_schedule_time,
digdag_db->   to_timestamp(s.last_session_time) AS last_session_time,
digdag_db->   s.created_at,s.updated_at,s.disabled_at
digdag_db-> FROM schedules s, projects p, workflow_definitions w
digdag_db-> WHERE project_id = p.id
digdag_db->   AND workflow_definition_id = w.id
digdag_db-> ORDER BY 2,3;
  id  |  project_name  |                    workflow_name                     |     next_run_time      |   next_schedule_time   |   last_session_time    |          created_at           |          updated_at           | disabled_at
------+----------------+------------------------------------------------------+------------------------+------------------------+------------------------+-------------------------------+-------------------------------+-------------
 2242 | aaaa           | aaaa_endpoint_aaaaa                                  | 2023-10-02 08:20:00+09 | 2023-10-02 08:20:00+09 | 2023-10-02 07:50:00+09 | 2023-01-11 14:24:56.892609+09 | 2023-10-02 09:51:02.757178+09 |
 2241 | aaaa           | aaaa_aaaaaa-endpoint_event_aaaaaaa-aaaa-pc01         | 2023-10-02 07:20:00+09 | 2023-10-02 07:20:00+09 | 2023-10-02 07:10:00+09 | 2023-01-11 14:24:56.892609+09 | 2023-10-02 09:23:38.228986+09 |
 2244 | aaaa           | aaaa_aaaaaa-endpoint_event_aaaaaaa-aaaa-pc02         | 2023-10-02 07:10:00+09 | 2023-10-02 07:10:00+09 | 2023-10-02 04:50:00+09 | 2023-01-11 14:24:56.892609+09 | 2023-10-02 09:19:33.995814+09 |
 2243 | aaaa           | aaaa_aaaaaa-endpoint_event_aaaaaaa-aaaa-pc03         | 2023-10-02 08:10:00+09 | 2023-10-02 08:10:00+09 | 2023-10-02 08:00:00+09 | 2023-01-11 14:24:56.892609+09 | 2023-10-02 09:51:36.496488+09 |

### 試したこと

上記SQL文を定期的に実行して遅延時間に変化がない（遅延し続けている）ことを確認しています。

### 補足情報（FW/ツールのバージョンなど）

Digdagサーバのスケジュール実行がさぼっているように見受けられます。
遅延発生から3日経過しますが、改善の状況が見られません。

以下2点、ご教示ください。
・next_schedule_time(3 hours ago) をスケジュール通りの実行時刻に戻す方法
・原因究明のためのdigdagログの検索方法

確認観点が不足していればご指摘お願いします。
以上、よろしくお願いします。

Digdagにてスケジュール通りにワークフローが実行されず、next_run_timeが3時間以上遅延する。

solaris 11の環境で、シェルスクリプトを作成し実行テストをしたところ成功しました。
cronに登録してスケジュール実行させると失敗します。

原因不明の状況です。

```ここに言語を入力
■実行ユーザの権限 srdcsユーザ
srdcs04% env
USER=srdcs
LOGNAME=srdcs
HOME=/export/home/srdcs
PATH=/bin:/usr/bin:/usr/ucb:/etc:.:/usr/sfw/bin/gcc:/export/home/srdcs/embulk_test/bin/embulk
MAIL=/var/mail//srdcs
SHELL=/bin/csh
TZ=Japan
LANG=ja
TERM=xterm
DISPLAY=localhost:14.0
PWD=/export/home/srdcs

■crontab設定

srdcs04% crontab -l

0,10,20,30,40,50 * * * * /bin/bash /export/home/xxxxxx/embulk_test/sh/bulkinsert_T_RS_TRAN.sh

■シェルスクリプト
srdcs04% cat /export/home/xxxxxx/embulk_test/sh/bulkinsert_T_RS_TRAN.sh
#
# 環境変数設定
#

export EMBULK_CMD="/export/home/xxxxxx/embulk_test/bin/embulk/embulk-0.9.15.jar run"
export EMBULK_CONF="/export/home/xxxxxx/embulk_test/conf/config_incremental_T_RS_TRAN.yml.liquid"
export EMBULK_DIFF="-c /export/home/xxxxxx/embulk_test/conf/diff_T_RS_TRAN.yml"
export EMBULK_LOG="/export/home/xxxxxx/embulk_test/log/bulkinsert_T_RS_TRAN.log"
export MAIL_CMD="/usr/sbin/sendmail"
export mail_T_RS_TRAN_file="/export/home/xxxxxx/embulk_test/mail/mail_T_RS_TRAN_file"
export CHECK_T_RS_TRAN_LOG="/export/home/xxxxxx/embulk_test/mail/check_T_RS_TRAN.log"
export ERROR_CODE_001="Error"
export TIME="`date '+%y/%m/%d %H:%M:%S'`"
export MAIL_CMD="/usr/sbin/sendmail"
export mail_T_RS_TRAN_file="/export/home/xxxxxx/embulk_test/mail/mail_T_RS_TRAN_file"
export CHECK_T_RS_TRAN_LOG="/export/home/xxxxxx/embulk_test/mail/check_T_RS_TRAN.log"
#export MAIL_LIST="/export/home/xxxxxx/embulk_test/mail/mail.list"
export ADDR="xxx@xxx"
export ERROR_CODE_001="Error"

#
# メールヘッダ部作成
#

echo "====================="    >> ${mail_T_RS_TRAN_file}
echo "DATE : ${TIME}"           >> ${mail_T_RS_TRAN_file}
echo "HOST : `hostname`"        >> ${mail_T_RS_TRAN_file}
echo "====================="    >> ${mail_T_RS_TRAN_file}
echo "Message:"                 >> ${mail_T_RS_TRAN_file}

#
# バルクインサート実行
#

${EMBULK_CMD} ${EMBULK_CONF} ${EMBULK_DIFF} >> ${EMBULK_LOG}

if [ $? -ne "0" ]; then
   echo "====================="  >> ${CHECK_T_RS_TRAN_LOG}
   echo "DATE : ${TIME}"         >> ${CHECK_T_RS_TRAN_LOG}
   echo "Embulk command Error T_RS_TRAN_TABLE" >> ${CHECK_T_RS_TRAN_LOG}
   echo "Embulk command Error T_RS_TRAN_TABLE" >> ${mail_T_RS_TRAN_file}
   ${MAIL_CMD} -f embulk_srdcs04@jp.xxxxx.com ${ADDR} < ${mail_T_RS_TRAN_file}
   exit 1
fi
echo "====================="    >> ${CHECK_T_RS_TRAN_LOG}
echo "DATE : ${TIME}"                   >> ${CHECK_T_RS_TRAN_LOG}
echo "Embulk command success T_RS_TRAN_TABLE"   >> ${CHECK_T_RS_TRAN_LOG}

#
# ログファイルチェック
#

while :;
do
  cat ${EMBULK_LOG} | grep "${ERROR_CODE_001}" >> ${mail_T_RS_TRAN_file}
      if [ $? = "0" ];then
        echo "====================="  >> ${CHECK_T_RS_TRAN_LOG}
        echo "DATE : ${TIME}"         >> ${CHECK_T_RS_TRAN_LOG}
        echo "Embulk Log Error T_RS_TRAN_TABLE" >> ${CHECK_T_RS_TRAN_LOG}
        ${MAIL_CMD} -f embulk_srdcs04@jp.xxxxx.com ${ADDR} < ${mail_T_RS_TRAN_file}
        exit 1
      else
        break
      fi
done

#
# ログ整理
#
echo "====================="    >> ${CHECK_T_RS_TRAN_LOG}
echo "DATE : ${TIME}"                   >> ${CHECK_T_RS_TRAN_LOG}
echo "Embulk Log success T_RS_TRAN_TABLE"   >> ${CHECK_T_RS_TRAN_LOG}

rm -r ${mail_T_RS_TRAN_file}

exit 0


■実行結果
srdcs04% tail -f check_T_RS_TRAN.log
=====================
DATE : 19/03/05 15:00:00
Embulk command Error T_RS_TRAN_TABLE


■cronの権限
srdcs04% ls -ltrh /var/spool/cron/crontabs

-rw-------   1 root     xxxxxx       1.2K  3月  5日  15:20 srdcs


```

cronでスケジュールしたシェルスクリプトが実行されない

### 実現したいこと

ここに実現したいことを箇条書きで書いてください。
- [ ] Embulkの設定ファイル(yaml.liquid)中の一部の設定項目(decoders)を無効化するように設定したい。

### 前提
pythonのjinja2のplugin(テンプレート)の利用を前提に、以下を検討しています。

Embulkの設定ファイル(yaml.liquid)中の一部の設定項目を無効化するように設定したい。
Embulkにて以下のbuilt-inのyaml.liquidを設定ファイルとして利用しています。
https://www.embulk.org/docs/built-in.html
```
in:
  type: file
  path_prefix: ./mydata/csv/
  decoders:
  - {type: gzip}
  parser:
    charset: UTF-8
    newline: CRLF
    type: csv
    delimiter: ','
    quote: '"'
    escape: '"'
    null_string: 'NULL'
    skip_header_lines: 1
    columns:
    - {name: id, type: long}
    - {name: account, type: long}
    - {name: time, type: timestamp, format: '%Y-%m-%d %H:%M:%S'}
    - {name: purchase, type: timestamp, format: '%Y%m%d'}
    - {name: comment, type: string}
filters:
  - type: speedometer
    speed_limit: 250000
out:
  type: stdout
```
以下のdecodersの値について、decodersを利用しない形(生のファイルのまま)での転送を想定しています。
この場合、Gzip decoder pluginは利用する必要がないのですが、decodersカラムを残したまま無効化する方法はありますでしょうか。
```
  decoders:
  - {type: gzip}
```

### 発生している問題・エラーメッセージ

```
特になし
```

### 該当のソースコード

### 試したこと
以下の二つのパターンを試しましたが、Gzip decoder pluginのエラーによりそれぞれ転送に失敗しました。
```
  decoders:
  - {type: ””}
```
```
  decoders:
  - {type: null}
```
また、以下の部分を削除した場合はで転送に成功しています。
```
  decoders:
  - {type: gzip}
```

### 補足情報（FW/ツールのバージョンなど）


Embulkの設定ファイル(yaml.liquid)中の一部の設定項目(decoders)を無効化するように設定したい。

Embulkで増分バルクインサートする際に、incremental_columnsオプションを使っています。
連番でデータが蓄積されるカラム値をincremental_columnsに指定させたいので、特定のカラムを指定するとエラーが発生。

原因は、double型はサポートしていない。との事
しかしながら、Oracleで定義しているカラムのデータ型は、NUMBER型

根本原因が不明の状況となります。
定義や環境は以下となります。

```ここに言語を入力
環境：
Microsoft Windows 7 Enterprise  6.1.7601 Service Pack 1 ビルド 7601
Java 1.8.0_192
Oracle Database 12c Enterprise Edition Release 12.2.0.1.0 - 64bit Production
embulk (0.9.15 java)
embulk-input-oracle (0.9.3)
embulk-output-bigquery (0.4.9)
embulk-filter-timestamp_format (0.3.3)



■Oracle定義

SQL> desc T_RS_TRAN
 名前                                      NULL?    型
 ----------------------------------------- -------- ----------------------------
 ORDER_NO                                           NUMBER(15)
 

■Embulk定義
in:
  type: oracle
  path_prefix: null
  driver_path: xxxx\product\12.2.0\dbhome_1\sqldeveloper\jdbc\lib\ojdbc7.jar
  host: A0430-02396
  user: system
  password: ｘｘｘ
  database: ORCL
  table: T_RS_TRAN
  incremental_columns: [ORDER_NO]
  incremental: true
  columns:
    - {name: ORDER_NO, type: string}

■実行時のエラー

org.embulk.exec.PartialExecutionException: org.embulk.spi.DataException: Column type 'double' set at incremental_columns option is not supported
        at org.embulk.exec.BulkLoader$LoaderState.buildPartialExecuteException(BulkLoader.java:340)
        at org.embulk.exec.BulkLoader.doRun(BulkLoader.java:566)
        at org.embulk.exec.BulkLoader.access$000(BulkLoader.java:35)
        at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:353)
        at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:350)
        at org.embulk.spi.Exec.doWith(Exec.java:22)
        at org.embulk.exec.BulkLoader.run(BulkLoader.java:350)
        at org.embulk.EmbulkEmbed.run(EmbulkEmbed.java:178)
        at org.embulk.EmbulkRunner.runInternal(EmbulkRunner.java:292)
        at org.embulk.EmbulkRunner.run(EmbulkRunner.java:156)
        at org.embulk.cli.EmbulkRun.runSubcommand(EmbulkRun.java:436)
        at org.embulk.cli.EmbulkRun.run(EmbulkRun.java:91)
        at org.embulk.cli.Main.main(Main.java:64)
Caused by: org.embulk.spi.DataException: Column type 'double' set at incremental_columns option is not supported
        at org.embulk.input.jdbc.getter.AbstractColumnGetter.encodeToJson(org/embulk/input/jdbc/getter/AbstractColumnGetter.java:92)
        at org.embulk.input.jdbc.AbstractJdbcInputPlugin$LastRecordStore.accept(org/embulk/input/jdbc/AbstractJdbcInputPlugin.java:441)
        at org.embulk.input.jdbc.AbstractJdbcInputPlugin.run(org/embulk/input/jdbc/AbstractJdbcInputPlugin.java:490)
        at org.embulk.exec.LocalExecutorPlugin$ScatterExecutor.runInputTask(org/embulk/exec/LocalExecutorPlugin.java:269)
        at org.embulk.exec.LocalExecutorPlugin$ScatterExecutor.access$100(org/embulk/exec/LocalExecutorPlugin.java:194)
        at org.embulk.exec.LocalExecutorPlugin$ScatterExecutor$1.call(org/embulk/exec/LocalExecutorPlugin.java:233)
        at org.embulk.exec.LocalExecutorPlugin$ScatterExecutor$1.call(org/embulk/exec/LocalExecutorPlugin.java:230)
        at java.util.concurrent.FutureTask.run(java/util/concurrent/FutureTask)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(java/util/concurrent/ThreadPoolExecutor)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(java/util/concurrent/ThreadPoolExecutor$Worker)
        at java.lang.Thread.run(java/lang/Thread)

Error: org.embulk.spi.DataException: Column type 'double' set at incremental_columns option is not supported

```



```ここに言語を入力
■embulkによるseed.ymlファイルのpreview結果

2019-02-21 15:33:49.668 +0900: Embulk v0.9.15
2019-02-21 15:33:50.042 +0900 [WARN] (main): DEPRECATION: JRuby org.jruby.embed.ScriptingContainer is directly injected.
2019-02-21 15:33:52.433 +0900 [INFO] (main): Gem's home and path are set by default: "C:\Users\yazaki.embulk\lib\gems"
2019-02-21 15:33:53.222 +0900 [INFO] (main): Started Embulk v0.9.15
2019-02-21 15:33:53.284 +0900 [INFO] (0001:preview): Loaded plugin embulk-input-oracle (0.9.3)
2019-02-21 15:33:53.315 +0900 [INFO] (0001:preview): Connecting to jdbc:oracle:thin:@A0430-02396:1521:ORCL options {oracle.jdbc.ReadTimeout=1800000, user=system, password=***, oracle.net.CONNECT_TIMEOUT=300000}
2019-02-21 15:33:53.690 +0900 [INFO] (0001:preview): Using JDBC Driver 12.1.0.2.0
2019-02-21 15:33:53.846 +0900 [INFO] (0001:preview): Connecting to jdbc:oracle:thin:@A0430-02396:1521:ORCL options {oracle.jdbc.ReadTimeout=1800000, user=system, password=***, oracle.net.CONNECT_TIMEOUT=300000}
2019-02-21 15:33:53.939 +0900 [INFO] (0001:preview): SQL: SELECT * FROM "T_RS_TRAN" ORDER BY "ORDER_NO"
2019-02-21 15:33:53.955 +0900 [INFO] (0001:preview): > 0.02 seconds
+-----------------+----------------+---------------------+-----------------+
| ORDER_NO:double | RS_TYPE:string | FACTORY_CODE:string | ORG_CODE:string |
+-----------------+----------------+---------------------+-----------------+
|     2.1002419E7 |              1 |                8000 |             MQ9 |
|      2.100242E7 |              1 |                7500 |             TWP |
|      2.100243E7 |              1 |                7500 |             5BN |



■Oracleに取り込んだデータ

"21023317","2","8100","XD9",2018/06/26,"VHP5FUH3F78C",1,"38A8U","06",0,"ZZZ"
"21023321","2","8000","7J7",2018/07/14,"YT98FCU5ZSG5",50,"I0ZSCQX0","30",0,"


SQL> desc T_RS_TRAN
 名前                                      NULL?    型
 ----------------------------------------- -------- ----------------------------
 ORDER_NO                                           NUMBER(15)
 RS_TYPE                                            VARCHAR2(1)
 FACTORY_CODE                                       VARCHAR2(4)
 ORG_CODE                                           VARCHAR2(3)
 TRAN_DATE                                          DATE

```