質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Fluentd

Fluentdは、オープンソースのログ収集ツールです。ログの収集方法、ログの記録先などのログデータ処理を柔軟にカスタマイズでき、インプットおよびアウトプットが全てプラグインとして実装されています。

Q&A

1回答

2531閲覧

fluentd での message パラメータの排除もしくは、message パラメータの中身を抜き出す方法

KUVO1017

総合スコア14

BigQuery

BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB(テラバイト)またはPB(ペタバイト)の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

Fluentd

Fluentdは、オープンソースのログ収集ツールです。ログの収集方法、ログの記録先などのログデータ処理を柔軟にカスタマイズでき、インプットおよびアウトプットが全てプラグインとして実装されています。

0グッド

0クリップ

投稿2016/12/14 14:45

Fluentd から BigQuery へのデータの流し込みを行っており、以下のような JSON を body に持った HTTP リクエストを Fluentd 側で受ける場合に、BigQuery に message という key を削除して、流し込むにはどうすればよいかご存知の方がいらっしゃったら教えていただきたいです。

curl -X POST -d "{\"message\":[{\"answer\":\"YES\",\"count\":8,\"maincomplaint_id\":33,\"start_time\":\"2016-12-10 03:09:26\",\"sid\":\"s1436\",\"event_time\":\"2016-12-10 03:09:43\",\"user_id\":21,\"gender\":\"m\",\"age\":17}, {\"answer\":\"NO\",\"count\":8,\"sid\":\"s1436\",\"event_time\":\"2016-12-10 03:09:43\",\"user_id\":21,\"gender\":\"m\",\"age\":18,\"client\":\"android\"} ]}" http://localhost:8888/user_activity/answer

td-agent.conf

td

1<source> 2 @type http 3 port "#{ENV['PORT']}" 4 keepalive_timeout 10s 5 format none 6</source> 7 8<match user_activity.*> 9 @type forest 10 subtype parser 11 <template> 12 @type parser 13 key_name message 14 tag user_activity.bigquery.${tag_parts[2]} 15 format json 16 </template> 17</match> 18 19<match user_activity.bigquery.*> 20 @type forest 21 subtype bigquery 22 <template> 23 method insert 24 25 auth_method json_key 26 email XXXX@YYYYYY.iam.gserviceaccount.com 27 json_key ./ZZZZZZZZZZZZ.json 28 29 project auto-diagnosis 30 dataset ${tag_parts[0]} 31 auto_create_table true 32 table ${tag_parts[2]}%{time_slice} 33 34 time_field event_time 35 schema_path ./${tag_parts[2]}_schema.json 36 37 buffer_path ./buffer/td 38 buffer_chunk_limit 1m 39 buffer_queue_limit 512 40 </template> 41</match> 42

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ビルトインのrecord_transformer Filter pluginを組合せるとできます。

投稿2019/04/10 02:07

okkez

総合スコア87

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問