jcmdのVM.command_lineオプションがJavaVM(1.8.0_222)の再起動直後から使用できなくなる

前提・実現したいこと

サーバ内(RHEL7/CentOS7ベース)で動いてるJavaVM(1.8.0_222)のアプリ起動コマンドを取得する為、jcmd(jdk1.8.0_66)をVM.command_lineオプションを付けて下記のように(1分に7~9回継続的に)実行しています。

jcmd {プロセスID} VM.command_line
これがJavaVM(1.8.0_222)のアプリ再起動後から下記のエラーが返ってくるようになります。

発生している問題・エラーメッセージ

java.io.IOException: Connection refused
        at sun.tools.attach.LinuxVirtualMachine.connect(Native Method)
        at sun.tools.attach.LinuxVirtualMachine.<init>(LinuxVirtualMachine.java:124)
        at sun.tools.attach.LinuxAttachProvider.attachVirtualMachine(LinuxAttachProvider.java:63)
        at com.sun.tools.attach.VirtualMachine.attach(VirtualMachine.java:208)
        at sun.tools.jcmd.JCmd.executeCommandForPid(JCmd.java:147)
        at sun.tools.jcmd.JCmd.main(JCmd.java:131)

備考

同間隔で「jcmd {プロセスID} PerfCounter.print」も実行しておりそちらは正常に動いておりま。

現在、原因を特定、事象を再現する為、一定間隔(15分)でJavaVM(1.8.0_222)のアプリを再起動しています。
10台ほど同環境を作成して試行していますが、
10台の再起動回数合計で約3000回再起動すると発生します。
事象の発生確率としては非常に低いですが
原因が特定できず、困窮しております。

行動規範の内容に同意します

回答1件

直接の回答ではありません：

エラー内容が「java.io.IOException: Connection refused」に始まるスタックトレースから推測すると、jcmd {プロセスID} VM.command_lineで起動したときに通信用のTCPまたは別の接続がJVMの診断用のサーバーから拒絶されているように見えます。このような事象は、何度も接続、切断したようなときに再利用できるコネクションが一時的または恒久的に枯渇したときにも発生します。TCPであれば、コネクションの状態(ESTABLISHEDやTIME_WAIT等)で確認できます。例えばnetstatコマンドを利用してjcmdコマンドが失敗するときのコネクションの状況を確認してみてください。もしjcmdコマンドのそのオプションがTCPを利用していて、処理を実行後に適切にcloseできていないような場合（＜バグもしくは既知の問題かもしれませんが）、状態としてTIME_WAITではない不審なコネクションがたくさんレポートされるかもしれません。ソケットはJVMのものではなく究極にはOSのリソースなので、枯渇し得ます。尚、上記ではTCPのソケットと書きましたが、UN*X上で稼働するものであれば、UNIXドメインソケットを利用しているかもしれません。私の方では確認する環境が無かったので、あくまで推測です。

投稿2020/12/08 00:19