Embulkの設定ファイル(yaml.liquid)中の一部の設定項目(decoders)を無効化するように設定したい。

Question

実現したいこと

ここに実現したいことを箇条書きで書いてください。

• Embulkの設定ファイル(yaml.liquid)中の一部の設定項目(decoders)を無効化するように設定したい。

前提

pythonのjinja2のplugin(テンプレート)の利用を前提に、以下を検討しています。

Embulkの設定ファイル(yaml.liquid)中の一部の設定項目を無効化するように設定したい。
Embulkにて以下のbuilt-inのyaml.liquidを設定ファイルとして利用しています。
https://www.embulk.org/docs/built-in.html

in:
  type: file
  path_prefix: ./mydata/csv/
  decoders:
  - {type: gzip}
  parser:
    charset: UTF-8
    newline: CRLF
    type: csv
    delimiter: ','
    quote: '"'
    escape: '"'
    null_string: 'NULL'
    skip_header_lines: 1
    columns:
    - {name: id, type: long}
    - {name: account, type: long}
    - {name: time, type: timestamp, format: '%Y-%m-%d %H:%M:%S'}
    - {name: purchase, type: timestamp, format: '%Y%m%d'}
    - {name: comment, type: string}
filters:
  - type: speedometer
    speed_limit: 250000
out:
  type: stdout

以下のdecodersの値について、decodersを利用しない形(生のファイルのまま)での転送を想定しています。
この場合、Gzip decoder pluginは利用する必要がないのですが、decodersカラムを残したまま無効化する方法はありますでしょうか。

  decoders:
  - {type: gzip}

発生している問題・エラーメッセージ

特になし

該当のソースコード

試したこと

以下の二つのパターンを試しましたが、Gzip decoder pluginのエラーによりそれぞれ転送に失敗しました。

  decoders:
  - {type: ””}

  decoders:
  - {type: null}

また、以下の部分を削除した場合はで転送に成功しています。

  decoders:
  - {type: gzip}

補足情報（FW/ツールのバージョンなど）

Answer 1

decoderの部分を残すだけで良いなら以下のように書けば良いと思います。

  decoders: []

gzipの部分はコメントにして残すのが一案かと思います。

# 圧縮を使わない場合
  decoders: []

# 圧縮を使わない場合上をコメントにしてこちらのコメントを外す
#  decoders:
#  - {type: gzip}

liquidを使うなら ifで分けるのがよいように思います。

[Embulk] DBの接続情報とクエリを環境変数とLiquidを使って上手に分割する方法

Comments

[signyah]

ありがとうございます。試してみます。

[signyah]

hiroysato さん
ありがとうございます、ご指摘で問題解決しました。
ご協力ありがとうございました！

[hiroysato]

解決して何よりです。やり方わからないのですが問題が解決済みであればこちらの投稿を解決済みにしていただけると助かります。