zabbix agent がfailになってしまう

Question

前提・実現したいこと

failになっている原因を知りたい、fail状態とはどういう状態かを知りたい。
またstop後に正常な状態「 inactive (dead) 」にするための対処方法を知りたい。

発生している問題・エラーメッセージ

下記のようにsystemctl stop 後、systemctl statusで状態確認をすると、Active: failedになってしまう。
stop後の正常な状態は inactive (dead) と認識しています。

systemctl stop zabbix-agent
systemctl status zabbix-agent
● zabbix-agent.service - Zabbix Agent
Loaded: loaded (/usr/lib/systemd/system/zabbix-agent.service; enabled; vendor preset: disabled)
Active: failed (Result: exit-code) since YYYYMMDD
Process: xxx ExecStop=/bin/kill -SIGTERM $MAINPID (code=exited, status=1/FAILURE)
Process: yyy ExecStart=/usr/sbin/zabbix_agentd -c $CONFFILE (code=exited, status=0/SUCCESS)
Main PID: zzz (code=exited, status=0/SUCCESS)

Comments

[DreamTheater]

Zabbix Agent 起動中は何も問題なかったのでしょうか？

[hhgg]

起動時のログは以下になります。
最後にPIDについてCan't open PIDとありますが、ファイルは存在して開けてPIDを確認できます。
(tqaaaaaaのaaaaaaが入っていました)

systemctl start zabbix-agent
systemctl status zabbix-agent
● zabbix-agent.service - Zabbix Agent
Loaded: loaded (/usr/lib/systemd/system/zabbix-agent.service; enabled; vendor preset: disabled)
Active: active (running) since YYYYMMDD
Process: xxx ExecStop=/bin/kill -SIGTERM $MAINPID (code=exited, status=1/FAILURE)
Process: yyy ExecStart=/usr/sbin/zabbix_agentd -c $CONFFILE (code=exited, status=0/SUCCESS)
Main PID: zzz (code=exited, status=0/SUCCESS)
Tasks: 9
CGroup: /system.slice/zabbix-agent.service
tqaaaaaa /usr/sbin/zabbix_agentd -c /etc/zabbix/zabbix_agentd.conf
tqbbbbbb /usr/sbin/zabbix_agentd: collector [idle 1 sec]
tqcccccc /usr/sbin/zabbix_agentd: listener #1 [waiting for connection]
tqdddddd /usr/sbin/zabbix_agentd: listener #2 [waiting for connection]
tqeeeeee /usr/sbin/zabbix_agentd: listener #3 [waiting for connection]
tqffffff /usr/sbin/zabbix_agentd: active checks #1 [idle 1 sec]
tqgggggg /usr/sbin/zabbix_agentd: active checks #2 [idle 1 sec]
tqhhhhhh /usr/sbin/zabbix_agentd: active checks #3 [idle 1 sec]
mqiiiiii /usr/sbin/zabbix_agentd: active checks #4 [idle 1 sec]

systemd[1]: Starting Zabbix Agent...
systemd[1]: Can't open PID file /run/zabbix/zabbix_agentd.pid (yet?) after start: No such file or directory
systemd[1]: Started Zabbix Agent.

[DreamTheater]

zabbix-serverとzabbix-agentのバージョン等、環境情報をご提示ください。

[DreamTheater]

五月雨式ですみません。
zabbix_agentd.log もご提示ください。

[hhgg]

zabbix-serverとzabbix-agentのバージョンですが、agentは誤インストールのため、
アンインストールを行う予定ですが、その前にstop操作を行うため本件の問い合わせとなっています。
最初からお伝えしておくべきした。すみません。
zabbix-server：3.x
abbix-agent　：5.0.1
Got signal [signal:15(SIGTERM),sender_pid:1,sender_uid:0,reason:0]. Exiting ...
Zabbix Agent stopped. Zabbix 5.0.1 (revision c2a0b03480).
Starting Zabbix Agent [xxx]. Zabbix 5.0.1 (revision c2a0b03480).
**** Enabled features ****
IPv6 support: YES
TLS support: YES
**************************
using configuration file: /etc/zabbix/zabbix_agentd.conf
agent #0 started [main process]
agent #1 started [collector]
agent #2 started [listener #1]
agent #3 started [listener #2]
#4 started [listener #3]
agent #5 started [active checks #1]
agent #6 started [active checks #2]
agent #7 started [active checks #3]
agent #8 started [active checks #4]

[DreamTheater]

３系のサーバと４系以降のエージェントでは通信ヘッダが異なるのでうまくやりとりできないですね。
エージェントをアンインストールする理由は何となくわかりました。
stopの件は関連なさそうですが、再現率は高いのでしょうか？
自分もこれ以上お力になれそうにないです。（ごめんなさい）
やはり日本Zabbixユーザー会フォーラムへの投稿をお勧めします。

[hhgg]

stop時の再現率は100%です。
フォーラム等でも調べてみます。ありがとうございました。

Answer 1

以下の確認結果を教えてください。

下記psコマンドの実行結果
ps -ef | grep zabbix_agentd | grep -v grep
→プロセス一覧が表示される？（なにも表示されない？）
もし一覧が表示される場合、何らかの原因でエージェントが正しく停止できなかったと考えられます。

質問へのコメントにも記載しましたが、そもそもZabbix Agentは正常起動していたのですよね？
もしそうであれば、何かしらイリーガルな操作（PIDFileを書き換え・削除してしまった、zabbix_agentdを手動起動してしまった等）の結果このようになったのではないでしょうか。

原因の特定は難しそうに感じます。
ご質問の意図として復旧より原因究明を優先されるということでしょうか？

Comments

[hhgg]

stop後のps -ef | grep zabbix_agentd | grep -v grep　で何も表示されませんでした。
起動、停止操作は systemctlのみで行っています。

[DreamTheater]

systemctl stop zabbix-agentを実行すると、必ずFailとなるのですか？

日本Zabbixユーザー会フォーラムに質問してみるのも良いかもしれません。（要ユーザー登録）

Answer 2

kill に失敗したみたいですね。
/usr/lib/systemd/system/zabbix-agent.service の PIDFile に記述されているプロセスIDが間違ってるとかですかね？

Comments

[hhgg]

DreamTheaterさんの質問に起動時のログを記載しました。
/usr/lib/systemd/system/zabbix-agent.service の PIDFile には
PIDFile=/run/zabbix/zabbix_agentd.pd
とあり、これに起動時ログのtqaaaaaaのaaaaaaが入っていました。（pidは一応伏せています)