Fluentd

Fluentdは、オープンソースのログ収集ツールです。ログの収集方法、ログの記録先などのログデータ処理を柔軟にカスタマイズでき、インプットおよびアウトプットが全てプラグインとして実装されています。

RSS
  • 解決済

    回答
    2

    jQueryのajaxを使い、fluentdにログを吐き出す

    WEBアプリケーションにて、フロント側からajaxを用いて非同期でfluentdにログを吐きたいのですが、うまくjson形式でデータを送れていないのか、400が返ってきてしまいfluentdに格納できていない状態です。 curlコマンドではうまく格納できているためfluentdの設定がおかしいわけではないと思っています。 どのように修正すればよいでしょうか。

    • 0評価
    • 58PV
    yukkenoottuna yukkenoottuna 1ヶ月前に コメント
  • 受付中

    回答
    0

    fluentdを用いたログのs3への収集について

    fluentdを用いて、オンプレミスサーバ(複数台)のログをs3にアップロードする構成について、 ■サーバ(fluentdエージェント)⇒S3 ■サーバ(fluentdエージェント)⇒Kinesis Firehose⇒S3 という経路を候補として考えています。 このとき、直接S3にアップロードするのと、Kinesis Firehoseに集約することで

    • 0評価
    • 100PV
    teratailが2ヶ月前に アップデート
  • 受付中

    回答
    0

    fluentdでjson formatの特定カラムの内容を加工したい

    下記のjsonテキストがファイルに出力された際に、それをfluentdで読み込ませます。 その際、「log」カラムの内容だけ抽出し、さらにこれをapacheのカラムに分割したい場合、何か良い方法はないでしょうか? ### 出力されるログ ### {"log":"10.140.0.4 - - [10/Jan/2018:07:38:15 +0000] \"G

    • 0評価
    • 201PV
    teratailが4ヶ月前に アップデート
  • 解決済

    回答
    1

    fluentdで改行コードが入っている場合に、jsonのparse処理に失敗する

    解決したい課題 fluentdで下記のjsonをparseしたいのですが、エラーとなってしまいます。いくつかテストしてみたのですが、\nが入っている場合に、エラーとなってしまうようです。何か、解決できる良い方法はありますでしょうか? {"log":"10.140.0.4 - - [06/Dec/2017:04:57:52 +0000] \"POST /

    • 0評価
    • 183PV
    ToshihumiAnan ToshihumiAnan 5ヶ月前に 回答
  • 受付中

    回答
    0

    Fluetdでタイムスタンプとタグを削除したい

    Fluentdで、アプリケーションサーバからログ収集サーバに以下のフォーマットのデータを送るとします TIMESTAMP TAG {JSON} この場合、ログ収集サーバのFluentdで{JSON}の部分だけ取り出す、もしくはTIMESTAMPとTAGごとJSONのデータとして扱いたいと思っているのですが、どのような設定になるでしょうか?

    • 0評価
    • 150PV
    teratailが5ヶ月前に アップデート
  • 受付中

    回答
    1

    fluentd failed to flush the bufferが発生してkinesis str...

    fluentd failed to flush the bufferが発生してkinesis streamに送れない現象 ググっても全く出てこないのでこちらに書かせていただきました。ご教授頂ければ幸いです。 まずエラー内容としては下記になります。 td-agent.log 2017-11-29 15:22:29 +0900 [wa

    • 0評価
    • 295PV
    tyler tyler 5ヶ月前に 質問を編集
  • 解決済

    回答
    1

    FluentdでForestとS3Pluginを一緒に使うと動かない

    現象 fluentd-0.14.21でfluent-plugin-forestとfluent-plugin-s3を同時に使用すると動かなくなる 入っているもの一覧 OS AmazonLinux(4.9.58-18.51.amzn1.x86_64) # td-agent-gem list | grep aws aws-partitions (1

    • 0評価
    • 405PV
    mall mall 6ヶ月前に 回答
  • 解決済

    回答
    1

    Fluentdでセンサーのログを項目毎に振り分けて保存したい

    やりたいこと Fluentdを使用してMQTTブローカーからセンサーデータを購読し、データの種類毎に保存先を振り分けたいです。 センサーは複合センサーで、データの種類(温度、地軸等)毎に別のメッセージになっています。 最初にやったこと まず、データの種類で振り分けずに保存する動作検証として、以下の様な設定で動作確認をしました。 <source>

    • 0評価
    • 440PV
    usa 退会済みユーザー 8ヶ月前に ベストアンサー
  • 受付中

    回答
    0

    Fluentd 正規表現の記載方について

    前提・実現したいこと 以下のダブルクォーテーション区切りデータを "200021075 ""777"" 333" 正規表現 "(?<referer>[^"]*)" で取得すると 200021075 が返されます。 返される値を 200021075 777 333 とするには、どのような正規表現を記載すればよいでしょうか? 実際のデータレコードパターン

    • 0評価
    • 270PV
    teratailが9ヶ月前に アップデート
  • 解決済

    回答
    1

    fluentd(td-agent)でelasticsearchへデータを投入したい。

    やりたいこと fluent(td-agent)でelasticsearchへデータを投入したい。 やったこと 時刻 タグ(fluentの) 値 2017-08-02T09:29:37+09:00 oioi {"host":"oreore"}

    • 0評価
    • 326PV
    EzrealTrueshot EzrealTrueshot 9ヶ月前に ベストアンサー
  • 受付中

    回答
    0

    Fluentd の設定ファイルの記述について

    お世話になります。 現在、fluentdを利用したデータ収集システムの構築を行っており 検証を実施しております。 また、クライアント-サーバ間のデータ通信をセキュアに行う必要があり プラグインのfluent-plugin-secure-forward を導入しています。 現在はクライアントの情報を以下の設定例のように台数分記述している 状況なのですが、こ

    • 0評価
    • 329PV
    teratailが10ヶ月前に アップデート
  • 受付中

    回答
    1

    fluentd(td-agent)で出力されるログファイルの保存期間を指定したい

    環境 OS: Ubuntu 14.04.4 LTS td-agent: 0.12.35 実現したいこと fluentd(td-agent)で収集したログを以下のような設定のもとfile Output Pluginで出力した場合、output.YYYYMMDD.logというファイルが毎日作成されますが、日付が1週間経ったものを自動で削除して古いログが

    • 0評価
    • 540PV
    dev_takosan dev_takosan 11ヶ月前に コメント
  • 受付中

    回答
    2

    .bash_profileに設定した環境変数がデーモン(td-agent)に反映されない

    .bash_profileに設定した環境変数がデーモン(td-agent)に反映されません。 具体的には、td-agentの設定ファイルtd-agent.confで.bash_profileに記述した環境変数が利用できません。 .bash_profile export Test=test td-agent.conf <record>

    • 0評価
    • 688PV
    kuma3 kuma3 1年以上前に コメント
  • 解決済

    回答
    1

    fluentdから出力されるログからtime,tagの要素を削除しjsonの要素だけを取得した

    fluentd初心者です。 fluentdでは以下のフォーマットでログが出力されると理解しています。 [time, tag, record = {key: "value", key: "value"}] (参考) http://qiita.com/harukasan/items/0e69f5c17f12db7b2e98 第一要素(tim

    • 0評価
    • 567PV
    over over 1年以上前に ベストアンサー
  • 解決済

    回答
    1

    Apacheのログからfluentdで特定のリクエスト情報のみを抽出する方法

    標記の件で質問させて頂きます。 Apache+fluentd+Postgresで特定のリクエストが来た場合のログを取集しようとしています。 <環境> CentOS 6.8、fluentd2.0(td-agent 0.12.31)、Apache 2.2.15、Postgresql 9.6.2 例えば、、 192.168.1.1 - - [28/Ma

    • 0評価
    • 471PV
    skytree skytree 1年以上前に コメント
  • 受付中

    回答
    0

    Docker運用時のログ管理 (Fluentd)

    Dockerコンテナから標準出力に吐き出されたログをFluentdに流し込む運用を考えてます。 例えばRailsアプリケーションの場合はRailsコンテナを立ち上げますが、内部的にはPumaのログの他に、Railsのエラーログ、アプリケーション独自のログ等も吐き出す場合があると思います。 ただしこの運用では、吐き出したログがそのままFluentdに流

    • 0評価
    • 407PV
    teratailが1年以上前に アップデート
  • 解決済

    回答
    1

    fluentdでログデータの内容によって動的にタグを変更したい

    前提・実現したいこと fluentdを利用して、nginxのアクセスログの中身をbigqueryとs3に格納しようと考えています。 その際に、ログの中身のデータに基づいてtagを動的に設定したいです。 アクセスログのフォーマットは log_format ltsv 'request_uri:$request_uri\t' 'request_b

    • 0評価
    • 448PV
    _skuwa _skuwa 1年以上前に 回答
  • 解決済

    回答
    1

    Fluentdで発生するエラー(「failed to initialize connection」な...

    Fluentd(td-agent2)を用いてApache(2.2.15)のログをPostgresql(9.6.0)に格納しようとしています。 一通り、設定が完了したのですが、fluentdで以下のエラーが発生しており、上手く動作しません。 お手数ですが、問題解決に向けてアドバイスを頂けないでしょうか。宜しくお願いします。 ◆td-agent.log

    • 0評価
    • 562PV
    skytree skytree 1年以上前に ベストアンサー
  • 受付中

    回答
    0

    fluetndでvmstatコマンドの結果をGrothforcastでグラフ化したい

    環境情報 サーバA:RedHat6.5(エージェント) サーバB:RedHat6.5(マネージャ) 前提・実現したいこと ①サーバAで実行した"vmstatコマンド"の実行結果を整形してサーバBへ転送したい。 整形したい形式としては、"ヘッダ:値"としたいです。 例) ["procs_r":"0","procs_b":"0",・・・]

    • 0評価
    • 341PV
    teratailが1年以上前に アップデート
  • 受付中

    回答
    0

    fluent-plugin-mysql-binlogをインストールしようとするとエラーになる

    前提・実現したいこと AWS上のRDSのbinlogを継続的に取得し、S3に保存したいと思っています。 そのための手法の一つとして、fluentdを使ってAWS上のRDSのbinlogを取得し、S3に保存することを考えました。 fluentdにはfluent-plugin-mysql-binlogというプラグインがあり、これを使えば楽にS3にbinlo

    • 0評価
    • 444PV
    teratailが1年以上前に アップデート
1

タグ情報

  • あなたの順位

    -

  • タグ登録者数

    45

  • 総質問数

    42

  • 今週の質問数

    0

関連するタグ

Fluentdタグのよく見られている質問

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る