Fluentd

Fluentdは、オープンソースのログ収集ツールです。ログの収集方法、ログの記録先などのログデータ処理を柔軟にカスタマイズでき、インプットおよびアウトプットが全てプラグインとして実装されています。

RSS

  • 解決済

    回答
    1

    Fluentd in-execの複数出力をInfluxDBへ挿入

    前提・実現したいこと MySQLデータベースに登録されている任意の名前の果物の数をfluentdで10分毎に取得し、InfluxDBに入れたい。 発生している問題・エラーメッセージ 入力元データ $ MYSQL_PWD=pass mysql -N -umysql database -e "SELECT name, count FROM d

    • 0評価
    • 23PV
    moonphase moonphase 18時間前
  • 解決済

    回答
    1

    fluentdで各ログをZabbixに取り込ませる方法

    前提・実現したいこと fluentdで各ログをZabbixに取り込ませたいです。 (まずは/var/log/messages) どなたか方法を御存じ無いでしょうか。 fluent-plugin-zabbixを使用しようとしていますが、このプラグインでなくても実現できれば問題ありません。 発生している問題・エラーメッセージ td-agent

    • 0評価
    • 49PV
    teketeke teketeke 1週間前
  • 受付中

    回答
    0

    fluentd での message パラメータの排除もしくは、message パラメータの中身を抜...

    Fluentd から BigQuery へのデータの流し込みを行っており、以下のような JSON を body に持った HTTP リクエストを Fluentd 側で受ける場合に、BigQuery に message という key を削除して、流し込むにはどうすればよいかご存知の方がいらっしゃったら教えていただきたいです。 curl -X POST

    • 0評価
    • 91PV
    KUVO1017 KUVO1017 1ヶ月前
  • 受付中

    回答
    0

    [aws]fluentdでelbのログを今日のELBのログから取得したい

    fluentdでelbのログを収集してawsのサービスのelasticsearchに送る処理です。 設定は以下です。 /etc/td-agent/td-agent.conf <source> type elb_log region ap-northeast-1 s3_bucketname elb-access-log s3_pr

    • 0評価
    • 164PV
    mint.cherry mint.cherry 4ヶ月前
  • 受付中

    回答
    1

    環境変数のデフォルト値を指定する方法

    td-agent.conf内に以下のように環境変数を使ってます。 host "#{ENV['DB_HOST']}" これに加えて環境変数がない場合 localhostを指定するようにしたいですがどのように書けばよろしいですか? railsだと ENV['RAILS_CACHE_NAMESPACE'] || 'xx' とかけたので

    • 0評価
    • 153PV
    Kimsehwa Kimsehwa 5ヶ月前
  • 解決済

    回答
    2

    圧縮して手に入れたパッケージで常にwebで見れるようにしたい。

    OS:amazon linux kibanaで例えます。 yum などでインストールしたものは、/etc/init.d/kibana startでストップやシャットダウンされない限りは常時動かすことができます。 動き続けている限りwebにアクセスできます。 公式からのとってきた圧縮されたものkibana.tar.gzで展開しその中にある.

    • 0評価
    • 213PV
    mint.cherry mint.cherry 6ヶ月前
  • 解決済

    回答
    1

    td-agentでenv変数読み込ませる方法

    /etc/td-agent/td-agent.conf ファイル tag replicator.test_development.search.${event}.${primary_key} 行のdevelopmentを環境変数にしたいですが、 どのように書けばよろしいですか? 参考できる資料があれば教えていただきたいです。 以下の設定で

    • 0評価
    • 213PV
    Kimsehwa Kimsehwa 6ヶ月前
  • 受付中

    回答
    0

    fluentdにて一つのログを複数ファイルに出力する方法

    実現したいこと 集約側のfluentdにてfowardされたログを条件によって複数のログファイルに出力したいと思っています。 要件としては以下の通りです。 全てのログはsample.logとして出力 loggerレコードが"jp.sample.*"と一致する場合、1.と合わせて以下のログも出力 2-1. level(ログレベ

    • 0評価
    • 349PV
    turubee turubee 6ヶ月前
  • 解決済

    回答
    1

    Fluentdなどのロギングミドルウェアを使う場合、プログラム側での変更は特に必要ないのでしょうか?

    Javaでログを取る場合など「Logger.getLogger(...)」のようにしてロガーを取得し、ログを出力すると思います。 サーバーのロガーとしてFluentdを採用した場合、プログラム側では今までどおり「Logger.getLogger(...)」でロガーを取得してログを出せば良いのでしょうか? それとも特別な設定が必要なのでしょうか?

    • 0評価
    • 242PV
    jimyo jimyo 8ヶ月前
  • 解決済

    回答
    1

    fluentd matchディレクティブで指定したサーバにログを転送できない

    vagrantを利用してサーバA(ip 192.168.33.10)とサーバB(ip 192.168.33.11)を立て サーバBからサーバAにログを転送しようとしていますがサーバAでfluentdのログファイルが作成されません。 サーバBのtd-agent.conf # Input <source> type tail path /v

    • 0評価
    • 211PV
    kuma3 kuma3 8ヶ月前
  • 解決済

    回答
    1

    CentOS6.7でfluentdの起動がうまく行きません

    表題の通りです。 curl -L http://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sudo sh でfluentdをAWSのCentOS6.7にインストールしたのですが、下記のようになってしまいます。 $ sudo service td-agent start

    • 0評価
    • 434PV
    yu_1985 yu_1985 11ヶ月前
  • 解決済

    回答
    1

    fluentdでbufferファイルのデータを復旧させる方法を教えてください。

    お世話になります。 IoT機器を使ってログデータをTreasureDataへfluentdで送信しています。 エラーとなり、bufferファイルに書き込まれた続ける状態になってしまったのですが ・このバッファファイルのデータをTreasureDataへ送信する方法(復旧方法)。 ・今後のエラー対策として、設定にアドバイスあれば ご教授願いたく。

    • 0評価
    • 737PV
    usakoyama usakoyama 11ヶ月前
  • 受付中

    回答
    0

    mackerelのUI上にグラフを大量につくってしまいました

    おはつです fluent-plugin-cloudwatchとfluent-plugin-mackerelを使用しています。 fluent-plugin-mackerelの使い方を間違えてしまい、mackerelに大量の種類でメトリクスを送ってしまいました。 mackerelのUI上にグラフが大量に出来てしまい、グラフを消すのがとても面倒臭いです。

    • 0評価
    • 455PV
    AkiraSakamoto AkiraSakamoto 11ヶ月前
  • 解決済

    回答
    2

    fluentdでinvalid time format

    error="invalid time format: value = 25/Dec/2015:08:56:22 +0000, error_class = ArgumentError, error = invalid strptime format - `%d/%m/%Y:%H:%M:%S %z'" このようなエラーメッセージです。 なぜ一致しないの

    • 0評価
    • 623PV
    tak__tak tak__tak 1年以上前
  • 解決済

    回答
    1

    fluentdでblock in convert_line_to_event: pattern no...

    fluent.conf で <source> type tail format /^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>

    • 0評価
    • 366PV
    tak__tak tak__tak 1年以上前
  • 受付中

    回答
    0

    td-agentのfluent-plugin-cloudwatch-logsの使い方について

    http://blog.cloudpack.jp/2014/07/23/aws-fluent-plugin-cloudwatch/ 上記のサイトを参考に、td-agentを使って、 AWS の cloudwatch-logs のログを取得しようとしています。 単純に td-agent とコマンドを実行すると、ログが取得できるのですが、 service td

    • 0評価
    • 471PV
    teketeke teketeke 1年以上前
  • 受付中

    回答
    0

    fluent-plugin-bigquery使った、log送信時の500エラーについて

    httpdのログをfluentdで集計しfluent-plugin-bigqueryを使ってbigquery側にログデータを送信しています。 その際、稀にbigquery側から返ってくるステータスコードに500番台が含まれ失敗することがあります。 エラーとして処理されるためfluentdの再送処理が入り最終的には成功しますが、 エラーの検知が困難になって

    • 0評価
    • 307PV
    nekomata 退会済みユーザー 1年以上前
  • 受付中

    回答
    0

    fluentdのbuffer監視について

    fluentdを使用しており、buffer監視を考えています。 下記のようにmonitor_agentは設定しました。 <source> type monitor_agent bind 0.0.0.0 port 24220 </source> jsonを使用して、"buffer_queue_length" や "buffer_total_que

    • 0評価
    • 314PV
    aaaaasssssaaaaa aaaaasssssaaaaa 1年以上前
  • 受付中

    回答
    2

    ログ収集でGETのqueryパラメータをjsonにパースする方法がわからない

    apacheのアクセスログをfluentdで収集して、s3に保存しRedShiftに蓄積したいのですが、GETのクエリ文字列部分の取り出し方がわからず苦戦しております。(jsonにパースしたい) 例) //hogehoge.co.jp/test.php?test_id=111&param=hoge apacheのLogFormatで%qを指定し、"?te

    • 0評価
    • 735PV
    ゲストユーザー 1年以上前
  • 解決済

    回答
    1

    Ruby `require': cannot load such file -- resolve/h...

    Rubyは全くわからない初心者です。 fluentd+growthforecastを組み合わせて、dstatをグラフ化するツールを使用しようとしていた際の構築エラーです。 service td-agent startとすると、 Starting td-agent: /opt/td-agent/embedded/lib/ruby/site_ruby/2.1

    • 0評価
    • 697PV
    ryoscore ryoscore 1年以上前
1

もっと見る

タグ情報

  • あなたの順位

    -

  • タグ登録者数

    35

  • 総質問数

    22

  • 今週の質問数

    0

関連するタグ

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る