Fluentd

Fluentdは、オープンソースのログ収集ツールです。ログの収集方法、ログの記録先などのログデータ処理を柔軟にカスタマイズでき、インプットおよびアウトプットが全てプラグインとして実装されています。

RSS

  • 受付中

    回答
    0

    Fluentd の設定ファイルの記述について

    お世話になります。 現在、fluentdを利用したデータ収集システムの構築を行っており 検証を実施しております。 また、クライアント-サーバ間のデータ通信をセキュアに行う必要があり プラグインのfluent-plugin-secure-forward を導入しています。 現在はクライアントの情報を以下の設定例のように台数分記述している 状況なのですが、こ

    • 0評価
    • 17PV
    teratailが1日前に アップデート
  • 受付中

    回答
    1

    fluentd(td-agent)で出力されるログファイルの保存期間を指定したい

    環境 OS: Ubuntu 14.04.4 LTS td-agent: 0.12.35 実現したいこと fluentd(td-agent)で収集したログを以下のような設定のもとfile Output Pluginで出力した場合、output.YYYYMMDD.logというファイルが毎日作成されますが、日付が1週間経ったものを自動で削除して古いログが

    • 0評価
    • 48PV
    dev_takosan dev_takosan 3週間前に コメント
  • 解決済

    回答
    1

    fluentdから出力されるログからtime,tagの要素を削除しjsonの要素だけを取得した

    fluentd初心者です。 fluentdでは以下のフォーマットでログが出力されると理解しています。 [time, tag, record = {key: "value", key: "value"}] (参考) http://qiita.com/harukasan/items/0e69f5c17f12db7b2e98 第一要素(tim

    • 0評価
    • 88PV
    over over 1ヶ月前に ベストアンサー
  • 受付中

    回答
    2

    .bash_profileに設定した環境変数がデーモン(td-agent)に反映されない

    .bash_profileに設定した環境変数がデーモン(td-agent)に反映されません。 具体的には、td-agentの設定ファイルtd-agent.confで.bash_profileに記述した環境変数が利用できません。 .bash_profile export Test=test td-agent.conf <record>

    • 0評価
    • 98PV
    kuma3 kuma3 2ヶ月前に コメント
  • 解決済

    回答
    1

    Apacheのログからfluentdで特定のリクエスト情報のみを抽出する方法

    標記の件で質問させて頂きます。 Apache+fluentd+Postgresで特定のリクエストが来た場合のログを取集しようとしています。 <環境> CentOS 6.8、fluentd2.0(td-agent 0.12.31)、Apache 2.2.15、Postgresql 9.6.2 例えば、、 192.168.1.1 - - [28/Ma

    • 0評価
    • 165PV
    skytree skytree 3ヶ月前に コメント
  • 受付中

    回答
    0

    Docker運用時のログ管理 (Fluentd)

    Dockerコンテナから標準出力に吐き出されたログをFluentdに流し込む運用を考えてます。 例えばRailsアプリケーションの場合はRailsコンテナを立ち上げますが、内部的にはPumaのログの他に、Railsのエラーログ、アプリケーション独自のログ等も吐き出す場合があると思います。 ただしこの運用では、吐き出したログがそのままFluentdに流

    • 0評価
    • 178PV
    teratailが3ヶ月前に アップデート
  • 解決済

    回答
    1

    fluentdでログデータの内容によって動的にタグを変更したい

    前提・実現したいこと fluentdを利用して、nginxのアクセスログの中身をbigqueryとs3に格納しようと考えています。 その際に、ログの中身のデータに基づいてtagを動的に設定したいです。 アクセスログのフォーマットは log_format ltsv 'request_uri:$request_uri\t' 'request_b

    • 0評価
    • 171PV
    _skuwa _skuwa 4ヶ月前に 回答
  • 解決済

    回答
    1

    Fluentdで発生するエラー(「failed to initialize connection」な...

    Fluentd(td-agent2)を用いてApache(2.2.15)のログをPostgresql(9.6.0)に格納しようとしています。 一通り、設定が完了したのですが、fluentdで以下のエラーが発生しており、上手く動作しません。 お手数ですが、問題解決に向けてアドバイスを頂けないでしょうか。宜しくお願いします。 ◆td-agent.log

    • 0評価
    • 174PV
    skytree skytree 4ヶ月前に ベストアンサー
  • 受付中

    回答
    0

    fluetndでvmstatコマンドの結果をGrothforcastでグラフ化したい

    環境情報 サーバA:RedHat6.5(エージェント) サーバB:RedHat6.5(マネージャ) 前提・実現したいこと ①サーバAで実行した"vmstatコマンド"の実行結果を整形してサーバBへ転送したい。 整形したい形式としては、"ヘッダ:値"としたいです。 例) ["procs_r":"0","procs_b":"0",・・・]

    • 0評価
    • 113PV
    teratailが4ヶ月前に アップデート
  • 受付中

    回答
    0

    fluent-plugin-mysql-binlogをインストールしようとするとエラーになる

    前提・実現したいこと AWS上のRDSのbinlogを継続的に取得し、S3に保存したいと思っています。 そのための手法の一つとして、fluentdを使ってAWS上のRDSのbinlogを取得し、S3に保存することを考えました。 fluentdにはfluent-plugin-mysql-binlogというプラグインがあり、これを使えば楽にS3にbinlo

    • 0評価
    • 151PV
    teratailが4ヶ月前に アップデート
  • 解決済

    回答
    1

    Fluentd in-execの複数出力をInfluxDBへ挿入

    前提・実現したいこと MySQLデータベースに登録されている任意の名前の果物の数をfluentdで10分毎に取得し、InfluxDBに入れたい。 発生している問題・エラーメッセージ 入力元データ $ MYSQL_PWD=pass mysql -N -umysql database -e "SELECT name, count FROM d

    • 0評価
    • 235PV
    moonphase moonphase 6ヶ月前に 回答
  • 解決済

    回答
    1

    fluentdで各ログをZabbixに取り込ませる方法

    前提・実現したいこと fluentdで各ログをZabbixに取り込ませたいです。 (まずは/var/log/messages) どなたか方法を御存じ無いでしょうか。 fluent-plugin-zabbixを使用しようとしていますが、このプラグインでなくても実現できれば問題ありません。 発生している問題・エラーメッセージ td-agent

    • 0評価
    • 563PV
    teketeke teketeke 6ヶ月前に 回答
  • 受付中

    回答
    0

    fluentd での message パラメータの排除もしくは、message パラメータの中身を抜...

    Fluentd から BigQuery へのデータの流し込みを行っており、以下のような JSON を body に持った HTTP リクエストを Fluentd 側で受ける場合に、BigQuery に message という key を削除して、流し込むにはどうすればよいかご存知の方がいらっしゃったら教えていただきたいです。 curl -X POST

    • 0評価
    • 258PV
    teratailが7ヶ月前に アップデート
  • 受付中

    回答
    0

    [aws]fluentdでelbのログを今日のELBのログから取得したい

    fluentdでelbのログを収集してawsのサービスのelasticsearchに送る処理です。 設定は以下です。 /etc/td-agent/td-agent.conf <source> type elb_log region ap-northeast-1 s3_bucketname elb-access-log s3_pr

    • 0評価
    • 343PV
    teratailが10ヶ月前に アップデート
  • 受付中

    回答
    1

    環境変数のデフォルト値を指定する方法

    td-agent.conf内に以下のように環境変数を使ってます。 host "#{ENV['DB_HOST']}" これに加えて環境変数がない場合 localhostを指定するようにしたいですがどのように書けばよろしいですか? railsだと ENV['RAILS_CACHE_NAMESPACE'] || 'xx' とかけたので

    • 0評価
    • 288PV
    thinca thinca 11ヶ月前に 回答
  • 解決済

    回答
    3

    ホームディレクトリがないユーザに対する環境変数設定について

    linuxでuserごとに環境変数を設定する時 ~/.bash_profileとかでexportしてPATHの設置を入れたりしました。 ですが、ソフトウェアの実行用ユーザはホームディレクトリがなかったりしますね その場合該当ユーザーに環境変数を設定する方法はありますか? /etc/profileに環境設定をするとホームディレクトリがないユーザーにも反映さ

    • 0評価
    • 554PV
    take88 take88 11ヶ月前に 回答
  • 解決済

    回答
    2

    圧縮して手に入れたパッケージで常にwebで見れるようにしたい。

    OS:amazon linux kibanaで例えます。 yum などでインストールしたものは、/etc/init.d/kibana startでストップやシャットダウンされない限りは常時動かすことができます。 動き続けている限りwebにアクセスできます。 公式からのとってきた圧縮されたものkibana.tar.gzで展開しその中にある.

    • 0評価
    • 345PV
    mint.cherry mint.cherry 1年以上前に ベストアンサー
  • 解決済

    回答
    1

    td-agentでenv変数読み込ませる方法

    /etc/td-agent/td-agent.conf ファイル tag replicator.test_development.search.${event}.${primary_key} 行のdevelopmentを環境変数にしたいですが、 どのように書けばよろしいですか? 参考できる資料があれば教えていただきたいです。 以下の設定で

    • 0評価
    • 474PV
    Kimsehwa Kimsehwa 1年以上前に 回答を編集
  • 受付中

    回答
    0

    fluentdにて一つのログを複数ファイルに出力する方法

    実現したいこと 集約側のfluentdにてfowardされたログを条件によって複数のログファイルに出力したいと思っています。 要件としては以下の通りです。 全てのログはsample.logとして出力 loggerレコードが"jp.sample.*"と一致する場合、1.と合わせて以下のログも出力 2-1. level(ログレベ

    • 0評価
    • 722PV
    teratailが1年以上前に アップデート
  • 解決済

    回答
    1

    CentOS6.7でfluentdの起動がうまく行きません

    表題の通りです。 curl -L http://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sudo sh でfluentdをAWSのCentOS6.7にインストールしたのですが、下記のようになってしまいます。 $ sudo service td-agent start

    • 0評価
    • 693PV
    yu_1985 yu_1985 1年以上前に ベストアンサー
1

タグ情報

  • あなたの順位

    -

  • タグ登録者数

    37

  • 総質問数

    32

  • 今週の質問数

    1

関連するタグ

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る