Logstash で複数行のイベントを含む CSV を Elasticsearch に取り込みたい

Question

前提・実現したいこと

Logstash で複数行のイベントを含む CSV を Elasticsearch に取り込みたいのですが、うまくいきません。

恐らく logstash.conf の設定に誤りがあると思うのですが、ご存知の方いらっしゃいましたらご教授お願いします。

発生している問題

複数行のイベントが取り込まれない。

該当の設定ファイル、CSVファイル

logstash.conf

input {
    file {
        path => ["/Users/myuser/work/elasticsearch/csv/log.csv"]
        sincedb_path => "/dev/null"
        start_position => "beginning"
        codec => multiline {
            pattern => "^\s"
            what => "previous"
        }
    }
}

filter {
    csv {
        columns => ["Date", "Level", "Message"]
    }
    date {
        match => ["Date", "yyyy-MM-dd HH:mm:ss"]
    }
}

output {
    elasticsearch {
        hosts => ["localhost:9200"]
        index => "log"
    }
    stdout {
        codec => rubydebug
    }
}

log.csv

2019-01-01 10:30:00,INFO,Success.
2019-01-02 10:40:00,ERROR,An error1 has occurred. Please wait a moment and try again.
2019-01-02 10:50:00,ERROR,An error2 has occurred
 Please wait a moment and try again.

試したこと

「Multiline codec plugin」のマニュアルを参照し、行の先頭が空白の場合は前行のイベントになるように設定をしているつもりなのですが、3行目〜４行目「2019-01-02 10:50:00」のイベントが取り込まれせんでした。（1行目〜2行目は取り込まれています）

また、multiline 設定を以下のようにしても結果は同様でした。

codec => multiline {
    pattern => "^2019"
    negate => true
    what => "previous"
}

補足情報（FW/ツールのバージョンなど）

macOS 10.14.5
Elasticsearch 7.1.0
Logstash 7.1.0

Answer 1

すみません、自己解決しました。

デフォルトでは Tail モードで読み込んでおり、CSV ファイルに行を追加して上書き保存すると次の行が読み込まれるようになりました。

今回のように新しい設定を試す場合は、Read モードで確認した方が良かったかもしれません。

input {
    file {
        mode => "read"
        path => ["/Users/myuser/work/elasticsearch/csv/log.csv"]
        sincedb_path => "/dev/null"
        start_position => "beginning"
        codec => multiline {
            pattern => "^\s"
            what => "previous"
        }
    }
}

※まだ読み込み結果に問題があるのですが、別件になりますので、この質問としては解決とさせていただきます。

Answer 2

リンク先にある下記だとうまくいかないでしょうか。

input {
  stdin {
    codec => multiline {
      pattern => "^\s"
      what => "previous"
    }
  }
}

Comments

[nskydiving]

ご回答ありがとうございます。

ご提示いただいている設定でも、3行目〜４行目「2019-01-02 10:50:00」のイベントが取り込まれませんでした。
この設定であっているように思うのですが・・・

[iwamot]

プラグイン自体が効いていないんでしょうかね。