実現したいこと
AWSのユーザーガイドを参考にEKS環境にPrometheusを起動したい。
実施したこと
- WorkSpacesの作成 (https://docs.aws.amazon.com/ja_jp/prometheus/latest/userguide/AMP-onboard-create-workspace.html)
- 新しい Helm チャートリポジトリを追加する(https://docs.aws.amazon.com/ja_jp/prometheus/latest/userguide/AMP-onboard-ingest-metrics-new-Prometheus.html)
- Prometheus 名前空間を作成する
- 新サービスアカウントの IAM ロールの設定
- Fargate 上の Kubernetes で既存の Prometheus サーバーからの取り込みを設定する(https://docs.aws.amazon.com/ja_jp/prometheus/latest/userguide/AMP-onboard-ingest-metrics-existing-Prometheus-fargate.html)
※サンプルのyaml上定義でPrometheusインストール
発生している問題・エラーメッセージ
helmでEKSにインストール後数分間はPrometheusが上がるのですが、暫くするとまずserverのREADYが1/2になります。
>kubectl get pod -n prometheus NAME READY STATUS RESTARTS AGE prometheus-chart-kube-state-metrics-**********-***** 1/1 Running 0 19m prometheus-chart-pushgateway-**********-***** 1/1 Running 0 19m prometheus-chart-server-**********-***** 1/2 Running 5 19m
describeで見たところReadiness probe failedとなっていました。
>kubectl describe pod -n prometheus prometheus-chart-server-**********-***** ※Eventsのみ抜粋 Type Reason Age From Message ---- ------ ---- ---- ------- Warning LoggingDisabled 3m7s fargate-scheduler Disabled logging because aws-logging configmap was not found. configmap "aws-logging" not found Normal Scheduled 2m18s fargate-scheduler Successfully assigned prometheus/prometheus-chart-server-**********-*****to fargate-ip-**-*-**-***.ap-northeast-1.compute.internal Normal Pulling 2m17s kubelet Pulling image "jimmidyson/configmap-reload:v0.5.0" Normal Pulled 2m14s kubelet Successfully pulled image "jimmidyson/configmap-reload:v0.5.0" in 3.638253943s Normal Created 2m14s kubelet Created container prometheus-server-configmap-reload Normal Started 2m14s kubelet Started container prometheus-server-configmap-reload Normal Pulling 2m14s kubelet Pulling image "quay.io/prometheus/prometheus:v2.39.1" Normal Pulled 2m5s kubelet Successfully pulled image "quay.io/prometheus/prometheus:v2.39.1" in 8.022103709s Normal Created 2m5s kubelet Created container prometheus-server Normal Started 2m5s kubelet Started container prometheus-server Warning Unhealthy 4s kubelet Readiness probe failed: Get "http://10.0.30.219:9090/-/ready": context deadline exceeded (Client.Timeout exceeded while awaiting headers)
他ポッドのログも確認していましたが、特に情報は無く何故 Readiness probe failedが発生するのか分からない状態です。
どなたか情報お持ちであればご教授お願いします。
補足情報(FW/ツールのバージョンなど)
インストール対象EKSクラスターのKubernetesバージョン:1.21
あなたの回答
tips
プレビュー