dmsgからサーバ停止要因を確認したい

Question

前提・実現したいこと

https://teratail.com/questions/251648
の質問の状況の後、
自身のクライアントPCからは朝から一日中、
・SSH接続できなかった（TeraTerm使用）
・コマンドプロンプトからpingを飛ばしても「要求がタイムアウトしました。100%の損失」
・サービスにブラウザから表示できなかった
・サーバの仮想マシンを置いているVMWareにも接続できなかった
状況でした。

しかし、夕方、部署の別の人がその人のクライアントPCから、VMWareからマシンに入り、再起動を実行すると再起動できたようです。
その後、やはり自分のPCから試すと、
・サービスにブラウザから接続すると「504Gateway timeout」
・Ping「要求がタイムアウトしました。100%の損失」
・VMwareに入れず
のままです。

つきましては、https://teratail.com/questions/245197で再起動時にdmesgが飛ぶよう設定してたメールが無事届きましたので、原因を解読したいです。
しかし、dmesgが情報量多く、どこを確認したらよいかわかりません。
単純に、dmesgを確認するまでもなく、VMwareへファイヤウォールか何かで自分のクライアントPCやネット回線から入れなかっただけでしょうか？

よろしくお願いします。

その後、本日は下記を確認してみましたが、サーバが落ちた原因よくわかりません。
ネットワークを管理しているIT部にも昨日から問い合わせしていますが、忙しいとのことで無視されており、
部署の上司からは原因早くつきとめろといわれ困っております。。
・cat /var/log/messages
・cat /var/log/httpd/access_log
・cat /var/log/httpd/error_log
・cat /var/log/httpd/secure
・ping ホスト名→「要求がタイムアウトしました。100%or50%の損失」
・SSH接続→つながった。
恐らく、ネットワークが急に落ちたことがサーバ落ちた原因であり、
自身のPCから接続できないのは、ファイヤーウォールとCMTP（パケット通信？）制限されたことなのかなぁ、と仮説していますが、確かめる方法あっているのかわからず検証できないでいます。
引き続きよろしくお願いします。

Comments

[scsi]

まずは部署の別の人に聞いてみたらいかがでしょうか？

[退会済みユーザー]

聞ける人がいません。。

[over]

1)過去質問からオンプレミス設置に見受けられますが、「VMWareのクラウド」という言葉に違和感があります。クラウドの定義間違っていませんか?
2)「部署の別の人がその人のクライアントPCから、VMWareのクラウドからマシンに入り」、「やはり自分のPCから試すと」とありますが、該当障害が発生しているのはご自身のPCのみということでしょうか?

[退会済みユーザー]

Over様ありがとうございます。
1)職場のIT部にあるマシン＞VMWare＞仮想マシンの中に自身の部署が使うサービスのサーバ置いています。オンプレミスということになりますでしょうか？あ！もしかして仮想環境とクラウドを同じものではないのですね。クラウドは業者が管理するから違うものですね。失礼しました。ご指摘ありがとうございます！
2)朝、クライアントPCから皆サービスにつながらず、サーバを点検しようとしましたがVMwareの画面からもSSHからも一日中接続できませんでした（自身のみ）。
夕方、部署の上司（自分と同じくLINUXオンチ）が試しにサーバに入ってみたところ再起動（reboot)ができたとのことです。
しかし、その後も自身からはサーバもクライアントもアクセスできないままでした。

[over]

1)サーバが落ちた原因
ネットワークが停止した旨は言及していますが、サーバも停止していたのでしょうか?

2)ping ホスト名→「要求がタイムアウトしました。100%or50%の損失」
これは50%とでた場合は、パケット到達/応答があったことになりますが、間違いないですか?
そうであれば、ネットワークの不調が疑われます。

3)SSH接続→つながった。
これは接続できなかった事象が解決されたということでしょうか?

記載頂いている内容からするとネットワーク障害の可能性が高いように見受けられます。
Linuxに疎いということですが、サービス健全性の確認、ログ調査など、この先、Linux識者でなくては解決が難しく思えます。

[over]

もう一点確認で、サービスに接続する経路にproxyまたは負荷分散装置が存在しますか?
「504Gateway timeout」とあることから、中継する何かしらが、リクエストに対する応答を受け取れていないように見受けられます。
途中経路に該当機能が存在しない場合は、サービスを提供するサーバのリダイレクト機能が障害を起こしている可能性もあります。

[退会済みユーザー]

over様　早速のご確認とアドバイスありがとうございます。
１）昨日サーバも停止していました。本日はSSHで接続できましたが、VMwareのブラウザからは入れず、pingは通りませんでした。
2)はい。本日一度だけ50%と表示されました。
３）はい。昨日接続できなかったSSHが、本日つながりSSH接続については解決されました。
＊）他部署が担当しているのですが、恐らくproxyもしくは負荷分散装置存在すると思います。（詳しくはわかりませんが、先日ネットワークやIP電話の職場内全部の変更を行っていました。）
＃アドバイスありがとうございます！LINUX識者になるには、実践しつつ、シスコの試験やLPIC等を受けて知識をつけていけばよろしいでしょうか？

[over]

お答え頂いた内容からはネットワークの問題としか考えられませんね。

「LINUX識者になるには」← 実践ですかね・・・Webに情報はいくらでも公開されています。正直LPICが役に立つとは思えません。シスコはネットワーク系です。

ネットワーク部署が動いてくれないのであれば、まずは、Linuxサーバおよびサービスの健全性を証明してください。(とは言っても、サービスがどのようなミドルウェアで構成されているかを認識していないと、健全性も証明できません。)
その結果を以てネットワーク部署に動いてもらうのが良いかと。

[退会済みユーザー]

Over様ありがとうございます！サーバ停止検証のアドバイスだけでなく色々な視点からのアドバイスありがとうございます！周りにできる人も聞ける人もいないので、大変有効なアドバイスいただき助かりました。予算がないとのことで参考書等も買ってもらえないので、Webの情報で調べることが多く大丈夫かな？と思っていましたが、実践とWeb情報等でスキルを身に着けていくのですね！ベストアンサーにしたいのですがどうしたらよいでしょうか？？

[over]

今までのやり取りは、「このような状況の場合、どこを疑うべきか」というナレッジになると思います。
後日解決した際に、原因と対策をご自身で回答頂きベストアンサーとして頂けると助かります。
なお、社外秘に係る情報は伏せて記載することだけご留意ください。

[退会済みユーザー]

ありがとうございます。
他部署からもネットワークが不具合だったようでIT部が動き、機器の見直しを検討するようです。
色々とご丁寧にアドバイス大変助かりました。また質問TERATAILにすると思いますが、よろしくお願いします。

Answer 1

仕事でかつ自分で解決できない、自社で協力も得られないのであれば外部に原因調査を発注するべきでしょう。

Answer 2

自身のマシン・ブラウザ・ネットワーク受信設定・サーバ各種ログを確認したところクライアント側の環境・サーバ・サービスに問題はみられなかった。
サーバにPingが通らなかったのでネットワーク障害を疑った。
確認すると、やはり他のユーザーもネットワーク不安定とのことで、使用量増加によるネットワーク（VPN)混雑によりサービスにクライアントPCからアクセスできなかったことが原因と判明した。