【AWS】CloudWatchにweb-serverのアクセスログを転送させたい

Question

解決したい課題

web-serverのアクセスログ(/var/log/nginx/access.log)をCloudWatchへ転送したい。

設定内容

◆CloudWatch画面

・ロググループ(/var/log/nginx/access.log)を作成し、ログストリーム(test)を作成。

◆EC2画面

・web-serverのフローログを作成。

Filter：                  All
Destination log group：  /var/log/nginx/access.log
IAM role：                AWSServiceRoleForCloudWatchEvents

現状

・CloudWatch画面のインサイトを選択後、ロググループに/var/log/nginx/access.logを選択し、クエリの実行ボタンを押したが、画面にはなんにも表示されないまま。(´･_･`)

・フローログのステータスについては、作成直後は「アクティブ」だが、時間が経過後「アクセスエラー」となる。

試したこと

◆S3へデータのエクスポート

下記のサイトでS3にエクスポートしたらログが見れるようになる可能性があると記載されていたので試したが、、、
https://qiita.com/shinichi-takahashi/items/3f845e4042f6122174b3
ここでもエラーとなる。

◆セキュリティグループの設定変更
すべてのトラフィックを許可にし、フローログのステータスを確認したが、「アクセスエラー」のまま。

◆IAMロールの設定確認

◆IAMロールの作成＆適用
下記の内容で新規にIAMロール(test-logs-export)を作成したが、フローログの設定でIAMロールを選択することはできなかった。

恐らくフローログのステータスで「アクセスエラー」になっていることが原因だと思いますが、解決できず。。。

特にCloudWatchにこだわっているわけではないので、アクセスログが確認できる方法として別の案がありましたら、アドバイスいただけますと幸いです。

以上、よろしくお願いいたします(>_<)

Answer 1

そもそもフローログとはサーバ内の特定のログではなく、ENIに対するトラフィックのログです。
VPC フローログ
なので、そもそもやり方が間違っています。フローログは関係ありません。

CloudWatch Logsにサーバ内のログを転送したいなら、CloudWatch Agentで送るかfluentdやlogstashなどのOSSを使って送るかでしょう。

CloudWatch Agentではインスタンスのメトリクスを送るだけでなく、ログファイルをCloudWatch Logsに送ることもできます。
CloudWatch Agentでのログの送り方についてはドキュメントをご参照ください。
CloudWatch Agentのインストールはなにげにハマりどころが多いので
（

CloudWatchではなくS3に出力したい場合は悩みどころですが、CloudWatch AgentでCloudWatchにログを送るのとは別にfluentd等のOSSを使うのが一番シンプルです。
CloudWatch LogsからKinesis Firehoseを使ってS3に出力することもできるのですが、CloudWatch Logsにサブスクリプションフィルタの設定をする必要があります。
サブスクリプションフィルタは現在のところロググループごとに一つしか設定できないので、もし他のものと連携させたい場合に困ります。

CloudWatch Logs→S3へのエクスポートについては今回の問題にあまり関係ないのであくまで補足ですが、そこがうまく行かないのはバケットポリシーの設定が足りない可能性が高いでしょう。
コンソールを使用したログデータの Amazon S3 へのエクスポート
不明点があったらまず公式ドキュメントを調べてみましょう。意外とそのまま載ってます。

Comments

[narururu]

ご回答ありがとうございます！yu_1985さん☺

とても詳しく教えていただき、勉強になります。
フローログ関係なかたですね、失礼しました。
CloudWatch Agent、fluentd、logstashを候補に試してみます。

今回、CloudFrontとweb-serverのどちらにアクセスしているか確認できるようにするために構築を試みているのですが、今思うと、web-serverのアクセスログをわざわざ別の場所に転送しなくても、そのままアクセスログを見れば、CloudFrontとweb-serverのどちらにアクセスされているか判別できる気がしました('_')

しかし、yu_1985さんのおかげで、視野が広がりました。ありがとうございます！