質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

89.54%

embulk実行時にエラー「org.embulk.config.ConfigException: Couldn't delete local file」が出力される

解決済

回答 2

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 461

muratomi

score 7

前提・実現したいこと

embulkを利用しFTPでファイルを取得し、取得したファイルをFTPで出力したいと考えております。
ログの内容からファイル出力完了後のtmpファイル削除処理に失敗していると考えているのですが、改善の方法がわからず、お気づきの点があれば教えていただけ教えていただけますと幸いです。

ファイル取得には「embulk-input-ftp」、ファイル出力には「embulk-output-ftp」のプラグインを利用しています。

実行環境の情報は以下になります。
OS : WindowsServer 2008 R2
java : openjdk version "1.8.0_212"
embulk : embulk 0.9.17
embulk-input-ftp : embulk-input-ftp-0.2.0
embulk-output-ftp : embulk-output-ftp-0.2.1

不足情報等あればお気軽に教えていただけますと助かります。

発生している問題・エラーメッセージ

エラーメッセージの全文は以下になります。

org.embulk.exec.PartialExecutionException: org.embulk.config.ConfigException: Co
uldn't delete local file C:\Users\ADMINI~1\AppData\Local\Temp\2\embulk\2019-07-1
2 06-16-09.234 UTC\test000.00.csv3105253771120283850.tmp
        at org.embulk.exec.BulkLoader$LoaderState.buildPartialExecuteException(B
ulkLoader.java:340)
        at org.embulk.exec.BulkLoader.doRun(BulkLoader.java:566)
        at org.embulk.exec.BulkLoader.access$000(BulkLoader.java:35)
        at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:353)
        at org.embulk.exec.BulkLoader$1.run(BulkLoader.java:350)
        at org.embulk.spi.Exec.doWith(Exec.java:22)
        at org.embulk.exec.BulkLoader.run(BulkLoader.java:350)
        at org.embulk.EmbulkEmbed.run(EmbulkEmbed.java:178)
        at org.embulk.EmbulkRunner.runInternal(EmbulkRunner.java:292)
        at org.embulk.EmbulkRunner.run(EmbulkRunner.java:156)
        at org.embulk.cli.EmbulkRun.runSubcommand(EmbulkRun.java:433)
        at org.embulk.cli.EmbulkRun.run(EmbulkRun.java:90)
        at org.embulk.cli.Main.main(Main.java:64)
Caused by: org.embulk.config.ConfigException: Couldn't delete local file C:\User
s\ADMINI~1\AppData\Local\Temp\2\embulk\2019-07-12 06-16-09.234 UTC\test000.00.cs
v3105253771120283850.tmp
        at org.embulk.output.ftp.FtpFileOutputPlugin$FtpFileOutput$1.call(FtpFil
eOutputPlugin.java:269)
        at org.embulk.output.ftp.FtpFileOutputPlugin$FtpFileOutput$1.call(FtpFil
eOutputPlugin.java:245)
        at org.embulk.spi.util.RetryExecutor.run(RetryExecutor.java:81)
        at org.embulk.spi.util.RetryExecutor.runInterruptible(RetryExecutor.java
:62)
        at org.embulk.output.ftp.FtpFileOutputPlugin$FtpFileOutput.uploadFile(Ft
pFileOutputPlugin.java:245)
        at org.embulk.output.ftp.FtpFileOutputPlugin$FtpFileOutput.finish(FtpFil
eOutputPlugin.java:233)
        at org.embulk.spi.util.FileOutputOutputStream.close(FileOutputOutputStre
am.java:94)
        at sun.nio.cs.StreamEncoder.implClose(StreamEncoder.java:320)
        at sun.nio.cs.StreamEncoder.close(StreamEncoder.java:149)
        at java.io.OutputStreamWriter.close(OutputStreamWriter.java:233)
        at java.io.BufferedWriter.close(BufferedWriter.java:266)
        at org.embulk.spi.util.LineEncoder.finish(LineEncoder.java:90)
        at org.embulk.standards.CsvFormatterPlugin$1.finish(CsvFormatterPlugin.j
ava:194)
        at org.embulk.spi.FileOutputRunner$DelegateTransactionalPageOutput.finis
h(FileOutputRunner.java:154)
        at org.embulk.spi.PageBuilder.finish(PageBuilder.java:228)
        at org.embulk.standards.CsvParserPlugin.run(CsvParserPlugin.java:377)
        at org.embulk.spi.FileInputRunner.run(FileInputRunner.java:140)
        at org.embulk.spi.util.Executors.process(Executors.java:62)
        at org.embulk.spi.util.Executors.process(Executors.java:38)
        at org.embulk.exec.LocalExecutorPlugin$DirectExecutor$1.call(LocalExecut
orPlugin.java:170)
        at org.embulk.exec.LocalExecutorPlugin$DirectExecutor$1.call(LocalExecut
orPlugin.java:167)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.
java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor
.java:624)
        at java.lang.Thread.run(Thread.java:748)
        Suppressed: org.embulk.config.ConfigException: Couldn't delete local fil
e C:\Users\ADMINI~1\AppData\Local\Temp\2\embulk\2019-07-12 06-16-09.234 UTC\test
001.00.csv6718041067910710146.tmp
                ... 25 more
        Suppressed: org.embulk.config.ConfigException: Couldn't delete local fil
e C:\Users\ADMINI~1\AppData\Local\Temp\2\embulk\2019-07-12 06-16-09.234 UTC\test
002.00.csv9129426862521090912.tmp
                ... 25 more

Error: org.embulk.config.ConfigException: Couldn't delete local file C:\Users\AD
MINI~1\AppData\Local\Temp\2\embulk\2019-07-12 06-16-09.234 UTC\test000.00.csv310
5253771120283850.tmp

該当のソースコード

embulk設定ファイルの内容は以下になります。

in:
  type: ftp
  host: xxxxxx
  port: 21
  user: xxxxxx
  password: xxxxxx
  path_prefix: /purchase_log
  parser:
    charset: UTF-8
    newline: CRLF
    type: csv
    delimiter: ','
    quote: '"'
    escape: '"'
    trim_if_not_quoted: false
    skip_header_lines: 1
    allow_extra_columns: false
    allow_optional_columns: false
    columns:
    - {name: time, type: timestamp, format: '%Y-%m-%d %H:%M:%S.%N %z'}
    - {name: member_id, type: string}
    - {name: name, type: string}
    - {name: password, type: string}
    - {name: goods_id, type: string}
    - {name: ship_date, type: timestamp, format: '%Y-%m-%d %H:%M:%S.%N %z'}
    - {name: ammount, type: string}
out:
  type: ftp
  host: xxxxxx
  port: 21
  user: xxxxxx
  password: xxxxxx
  path_prefix: test
  file_ext: csv
  formatter:
    type: csv
    header_line: true

参考情報 

・tmpフォルダが出力されるフォルダへEveryone - フルコントロールの権限を付与して試してみましたが、同様の事象が発生しました。
・出力プラグインに別プラグインを利用するとエラーが発生せず出力できたため、「embulk-output-ftp」の設定方法が誤っていると考えております。
・Linux環境下ではエラーが出力されずに実行が完了します。
・別プラグインですが、類似事象が発生していることは確認しております。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • Orlofsky

    2019/07/12 16:05

    URLは https://teratail.com/help#about-markdown の [リンク] に修正してください。

    キャンセル

  • muratomi

    2019/07/12 16:15

    ご確認、ご指摘いただきありがとうございます。修正しました。

    キャンセル

回答 2

checkベストアンサー

+1

どうも、開発者です。
恐らくembulk-output-ftp v0.2.1のバグです。
WindowsはResourceを閉じ忘れると一時ファイルの削除ができないようです。
先ほど原因と思われる部分を修正してv0.2.2としてリリースしました。
https://github.com/embulk/embulk-output-ftp/pull/24

ただ私の手元にWindows環境がないため、試して頂いて直っているようなら教えてもらえると助かります。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/07/16 17:18

    akamasさんありがとうございます。

    muratomiさんもう一度
    gem install embulk-output-ftp
    をすると0.2.2が導入されると思うので更新して現状が改善される確認してみていただけますでしょうか?

    キャンセル

  • 2019/07/17 10:25

    akamasさん hiroysatoさん

    ご対応いただき誠にありがとうございます。
    0.2.2で再度実行し改善させていることが確認できました。

    早急にご対応いただき大変助かりました。
    今後ともよろしくお願いいたします。

    キャンセル

+1

ご報告ありがとうございます。Windows固有の不具合と思われます。開発者に報告をしておいたのでしばらくお待ちください。

もう一つの質問の方に書こうとおもった回答を間違えてこちらに書いてしまいましたので削除しました

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/07/12 23:09

    ご確認、ご回答誠にありがとうございます。

    開発者様へのご報告誠にありがとうございます。
    お手数をお掛けし申し訳ございませんが、よろしくお願いいたします。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 89.54%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる