systemctl statusコマンドによるステータスの確認について

Question

どなたかご知見をお持ちでらっしゃる方がいらっしゃればお力をお貸し下さい。

LINUX初心者ですが、CENTOS7で作成されたサーバーの保守を行っています。
先日、当該サーバーの/var/log/messgesに以下のようなエラーが出力されました。

---

0000000006,[messages]Sep　29　21:38:27　SRV01　systemd:err　systemd-journald.service　watchdog　timeout　(limit　1min)!

状況を確認するため、対象サーバーにて以下コマンドを実行しましたところ
Inactive(Dead)と返ってきました。

systemctl status systemd-journald.service　

しかし、jornalctl コマンドで確認するとログは継続的に記録されており
ps -auxコマンドを実行してみるとプロセスが起動しているように見えました。

不思議に思いましたので、試しに以下を実行すると
今度はActive(Running)と返ってきました。

systemctl status systemd-journald

これはどういう状況であると言えるでしょうか。

→
10/02 19:05
systemctl status systemd-journald.service　と
systemctl status systemd-journald　は
同じサービスのステータス確認を指すとご教示いただくことができました。
両者の実行結果がそれぞれInactiveとActiveとなってしまう理由について
お心当たりのある方がいらっしゃいましたら、ご知見をお貸しいただけますと幸いです。
（Webで検索してみましたが、それに該当するようなバグの情報等も見つからず。。。）

Answer 1

https://forge.univention.org/bugzilla/show_bug.cgi?id=48232
こちらの情報によるとファイルシステムのジャーナルの動作が止まり、その時間の閾値を超えると
エラーが載るようにかかれています。
つまり、エラーの間、ファイルシステムの高負荷が起きていたかもしれないです。
（再起動時にジャーナルがかかるので、このエラーがでるかもよ見たいな事例もありました）
ファイルシステム上の限界なので気になる用であれば上記記事にある

root@member55:~# grep WatchdogSec /lib/systemd/system/systemd-journald.service
WatchdogSec=3min

この閾値を伸ばすか、違うファイルシステムへの変更を検討してください、ということのようです

Comments

[ayuzer]

早速のご回答ありがとうございます。
エラー発生の原因について情報提供いただきありがとうございます。
原因についてはいただいた情報を元に調査・対応を進めようと考えておりますが、
現在当該サービス「systemd-journald.service」がどういう状態にあるのかが
掴めず困っております。
＃「systemctl status systemd-journald.service」　→　Inactive
　「systemctl status systemd-journald」　→　Active
　この状況がどういうことなのか理解できず・・・。
　両者は違うサービスなのか、前者はInactive状態で問題無いのか、等。

[yasutakatou]

Inactiveになるタイミングとjornalctlのログ付け合わせないとなんともいえないところがありますが、Inactiveの状態だともしかすると無応答になっているかもしれないですね。
Inactiveになるタイミングの頻度や、その時の処理など思い当たるところございませんか？
稀な頻度だとかなり追いづらい気がします。逆に頻繁だとリソース不足や最悪ディスク異常もありえそうです

[ayuzer]

恐れ入ります。
「systemctl status systemd-journald.service」コマンドについては何度打っても
"Inactive"と返ってきてしまいますが、jornalctl コマンドにてログを参照すると
明らかに高頻度でログが記録されています。
よって、ログが記録されたときだけサービスがむっくり起き上がってきている
といったことは無いような気がしています。

一方、「systemctl status systemd-journald」を打てばActiveが返ってくるので、
こちらの方が現状に即しているように思えます。
（ログが記録されている、ps -auxでプロセスの稼働が確認できる）

上記のことから、「systemd-journald.service」の状態を確認する場合は
末尾の".service"を抜いた状態で systemctl statusコマンドを実行する必要があるのではないかと
推量したのですが、いかんせんこのあたりの知見が皆無で困り果てています。。

[yasutakatou]

Inactiveなのでプロセスは生きてても、systemd管理から外れてしまっているが濃厚かもしれないです。
journalctl -u systemd-journaldとかでログ拾えないですかね。
できればsystemd-journald.serviceの中身も見てみたいと思います

[ayuzer]

なるほど、サービスが死んでもプロセスが生き続けるといったようなことが
起こりうるのですね。

> journalctl -u systemd-journaldとかでログ拾えないですかね
本日は環境へアクセスできませんので、ご教示いただいたコマンドを
近日中に打ってみます。

>できればsystemd-journald.serviceの中身も見てみたいと思います
知見が浅く恐縮です。サービスそのものの中身を見るようなことができるのですね。
少し調べてみます。

また、繰り返しになって申し訳ないのですが以下の前者と後者は
別物なのでしょうか。
「systemctl status systemd-journald.service」　→　Inactive
「systemctl status systemd-journald」　→　Active

[yasutakatou]

はい。プロセスが生きていて、ログも出ているのにInactive(Dead)だとsystemdの管理から外れている可能性が高いです。すみませんが、現状原因までは分かりませんが。。
逆に言うと、プロセスが生きていて、ログも出ているのであればサービスの動作上は緊急事態ではないということでもあります。

[ayuzer]

ありがとうございます。一旦急を要する事態ではないとコメントいただけて
ほっとしております。

ご回答いただいた内容からの推量になりますが、
「systemctl status systemd-journald.service」　→　systemd-journald.serviceサービスのSTATUS
「systemctl status systemd-journald」　→　systemd-journald"プロセス" のSTATUS
ということなのでしょうか？
（両方とも同じ"サービス"に対するステータス確認なのだと思っていましたが）

[yasutakatou]

同じサービスをさすと思います。誤解するような書き方で申し訳ないです。

[root@0eb25b62ad63 ~]# systemctl status systemd-journald.service
● systemd-journald.service - Journal Service
Loaded: loaded (/usr/lib/systemd/system/systemd-journald.service; static; vendor preset: disabled)
Active: active (running) since Thu 2020-10-01 09:46:10 UTC; 20h ago
Docs: man:systemd-journald.service(8)
man:journald.conf(5)
Main PID: 324 (systemd-journal)
Status: "Processing requests..."
CGroup: /system.slice/systemd-journald.service
└─324 /usr/lib/systemd/systemd-journald

Oct 01 09:46:10 localhost systemd-journal[324]: Runtime journal is using 8.0M (max allowed 74.8M, trying to leave 112.2M free of 740.0M availabl…it 74.8M).
Oct 01 09:46:10 localhost systemd-journal[324]: Runtime journal is using 8.0M (max allowed 74.8M, trying to leave 112.2M free of 740.0M availabl…it 74.8M).
Oct 01 09:46:10 localhost systemd-journal[324]: Journal started
Oct 01 09:46:10 localhost systemd-journal[324]: Runtime journal is using 8.0M (max allowed 74.8M, trying to leave 112.2M free of 740.0M availabl…it 74.8M).
Hint: Some lines were ellipsized, use -l to show in full.
[root@0eb25b62ad63 ~]# systemctl status systemd-journald
● systemd-journald.service - Journal Service
Loaded: loaded (/usr/lib/systemd/system/systemd-journald.service; static; vendor preset: disabled)
Active: active (running) since Thu 2020-10-01 09:46:10 UTC; 20h ago
Docs: man:systemd-journald.service(8)
man:journald.conf(5)
Main PID: 324 (systemd-journal)
Status: "Processing requests..."
CGroup: /system.slice/systemd-journald.service
└─324 /usr/lib/systemd/systemd-journald

Oct 01 09:46:10 localhost systemd-journal[324]: Runtime journal is using 8.0M (max allowed 74.8M, trying to leave 112.2M free of 740.0M availabl…it 74.8M).
Oct 01 09:46:10 localhost systemd-journal[324]: Runtime journal is using 8.0M (max allowed 74.8M, trying to leave 112.2M free of 740.0M availabl…it 74.8M).
Oct 01 09:46:10 localhost systemd-journal[324]: Journal started
Oct 01 09:46:10 localhost systemd-journal[324]: Runtime journal is using 8.0M (max allowed 74.8M, trying to leave 112.2M free of 740.0M availabl…it 74.8M).
Hint: Some lines were ellipsized, use -l to show in full.
[root@0eb25b62ad63 ~]#

[ayuzer]

>同じサービスをさすと思います。誤解するような書き方で申し訳ないです。
とんでもないです。わざわざ出力結果までいただきありがとうございます。

そうなると、前者がInactiveになり、後者がactiveになる理由がよくわからないですね。。。
何かしらの事実誤認があったのかもしれないので、改めて実機で確認をしてみようと思います。

[yasutakatou]

そうなんですよ、同じ結果になるはずなんですけど・・
全然関係ないですけど
https://www.katacoda.com/
こちらのサイトに登録するとWebから試しで色々なOSとか触れます。
出力結果もそこからもってきました。ちょっと調べものする時にとても便利なので
ついでにご紹介させてください。

[ayuzer]

やはり同じものを示しているんですね・・・・。
watchdogのタイムアウトとは全く関係の無い何かのバグを踏んでいる気がしてきました。
ちょっとその線でも調査してみようと思います。

素晴らしいサイトをご教示いただきありがとうございます。
早速登録させていただきました。
ちょっとコンソール開くところでプロキシにブロックされちゃうようですが
自宅のPCで検証に使ってみます！

[yasutakatou]

是非是非！コンテナの練習など色々できてタダでいいの！？って思いながら使ってますー

[ayuzer]

思わぬ収穫、大変ありがたいです！