kubernetes podで通信ができない。

Question

前提・実現したいこと

Prometheusでpodの監視をしたい!

発生している問題・エラーメッセージ

Prometheusのhttp requestが届きません！

試したこと

• 同じポッドの中から届くか

busyboxを使ってコンテナの中でhttp://localhost:9153/metricsは正常な応答がありました。

• nodeを跨いでpingは届くか

届きました。

• probe/healthは届くか

どちらも届きました。ルートパスも届きました。

pathを/metricsにしてpodの外部から通信しようとした時だけ届きません!同じ現象がgrafana、kube-controller-manager、etcdなどでおきます。
一方、node-exporterやkubeletは正常に動作しておりました。
何故なのでしょう。????

追記
アクセスできないpodと同じnodeにbusyboxを配置してcurlしたところ正常に通信できました。
異なるnodeだと/helthは通じるのに、その他のpathになると通じない、
同じnodeだと正常に通じる...

Answer 1

答えはmtuが足りなかったからでした。
node間を跨ぐ場合、私はipipで通信していたのですが、nodeを跨ぐ場合は当然外枠のip分mtuを減らさなくてはなりません。default設定だと1500と決め打ちしていただけるのですが、私の場合は1450でした...
でも質問文の状況ですぐに気づけたはずなのに!????