質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.77%

Logstash で複数行のイベントを含む CSV が1行しか読み込めない

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 1,789

nskydiving

score 6165

前提・実現したいこと

Logstash で複数行のイベントを含む CSV を Elasticsearch に取り込み、複数行のデータは全行をそのカラムのデータとして扱いたいのですが、1行目しか取り込めません。

Multiline Codec プラグインをはじめて使うので、これが正しい動作なのかどうかも分かっておりません。

ご存知の方いらっしゃいましたらご教授お願いします。

発生している問題

複数行のデータは1行目しか取り込めませんでした。

設定ファイル、CSVファイル、実行結果

logstash.conf

input {
    file {
        mode => "read"
        path => ["/Users/myuser/work/elasticsearch/csv/log.csv"]
        sincedb_path => "/dev/null"
        start_position => "beginning"
        codec => multiline {
            pattern => "^\s"
            what => "previous"
        }
    }
}

filter {
    csv {
        columns => ["Date", "Level", "ErrorMessage"]
    }
    date {
        match => ["Date", "yyyy-MM-dd HH:mm:ss"]
    }
}

output {
    elasticsearch {
        hosts => ["localhost:9200"]
        index => "log"
    }
    stdout {
        codec => rubydebug
    }
}

log.csv

2019-05-24 10:00:00,INFO,Success.
2019-05-24 11:00:00,ERROR,An error has occurred.
 Please wait a moment
 and try again.

実行結果

{
           "Level" => "INFO",
    "ErrorMessage" => "Success.",
            "host" => "local",
        "@version" => "1",
            "Date" => "2019-05-24 10:00:00",
         "message" => "2019-05-24 10:00:00,INFO,Success.",
      "@timestamp" => 2019-05-24T01:00:00.000Z,
            "path" => "/Users/myuser/work/elasticsearch/csv/log.csv"
}
{
           "Level" => "ERROR",
    "ErrorMessage" => "An error has occurred",
            "host" => "local",
            "tags" => [
        [0] "multiline"
    ],
        "@version" => "1",
            "Date" => "2019-05-24 11:00:00",
         "message" => "2019-05-24 11:00:00,ERROR,An error has occurred\n Please wait a moment\n and try again.",
      "@timestamp" => 2019-05-24T02:00:00.000Z,
            "path" => "/Users/myuser/work/elasticsearch/csv/log.csv"
}


「multiline」タグが付いており、「ErrorMessage」に「An error has occurred.」は取り込まれているのですが、「Please wait a moment」「and try again.」が取り込まれていません。

試したこと

「Multiline codec plugin」のマニュアルを一通り読みましたが、それらしき設定を見つけられませんでした。

補足情報(FW/ツールのバージョンなど)

macOS 10.14.5
Elasticsearch 7.1.0
Logstash 7.1.0

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

check解決した方法

0

自己解決しました。

そもそも Elasticsearch に改行コードを含めた文字列を入れられないようでしたので、以下のように gsub でエスケープするようにしました。

filter {
    mutate {
        gsub => [
            "message", "\n", "\n"
        ]
    }
    csv {
        columns => ["Date", "Level", "ErrorMessage"]
    }
    date {
        match => ["Date", "yyyy-MM-dd HH:mm:ss"]
    }
}

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.77%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る