前提・実現したいこと
embulkを利用しftpでファイルを取得したいと考えております。
ftpで取得するファイルは前回からの差分のみにしたく、-c オプションを利用して実行しているのですが指定した差分管理ファイルに差分情報の書き込みができておらず、差分取り込みに失敗してしまう状態です。
embulk実行コマンドは以下になります。
embulk run -c embulk.diff.yaml config-ftp.yml.liquid
コマンド実行時の動作としては、「embulk.diff.yaml」ファイルは出力されるのですが、何も情報が追記されず前回実行したファイルも再度対象とされてしまう状況です。
実行環境は以下になります。
OS : WindowsServer 2008 R2
java : openjdk version "1.8.0_212"
embulk : embulk 0.9.17
embulk-input-ftp : embulk-input-ftp-0.2.0
(参考情報)embulk-output-ftp : embulk-output-ftp-0.2.1(ファイル出力には「embulk-output-ftp」を利用しています。)
お気づきの点があればお教えいただけますと幸いです。
不足情報等あればお気軽に教えていただけますと助かります。
該当のソースコード
embulkの設定ファイル(config-ftp.yml.liquid)の情報は以下になります。
yml.liquid
1in: 2 type: ftp 3 host: xxxxxx 4 port: 21 5 user: xxxxxx 6 password: xxxxxx 7 path_prefix: /purchase_log 8 parser: 9 charset: UTF-8 10 newline: CRLF 11 type: csv 12 delimiter: ',' 13 quote: '"' 14 escape: '"' 15 trim_if_not_quoted: false 16 skip_header_lines: 1 17 allow_extra_columns: false 18 allow_optional_columns: false 19 columns: 20 - {name: time, type: timestamp, format: '%Y-%m-%d %H:%M:%S.%N %z'} 21 - {name: member_id, type: string} 22 - {name: name, type: string} 23 - {name: password, type: string} 24 - {name: goods_id, type: string} 25 - {name: ship_date, type: timestamp, format: '%Y-%m-%d %H:%M:%S.%N %z'} 26 - {name: ammount, type: string} 27out: 28 type: ftp 29 host: xxxxxx 30 port: 21 31 user: xxxxxx 32 password: xxxxxx 33 path_prefix: test 34 file_ext: csv 35 formatter: 36 type: csv 37 header_line: true
試したこと
・Linux環境下で同様に試したところ差分実行することができました。(-c オプションはWindows環境下では対応していないのでしょうか。。。)
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2019/07/12 13:52 編集