質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

91.06%

  • Python 3.x

    3716questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • Linux

    3102questions

    Linuxは、Unixをベースにして開発されたオペレーティングシステムです。日本では「リナックス」と呼ばれています。 主にWebサーバやDNSサーバ、イントラネットなどのサーバ用OSとして利用されています。 上位500のスーパーコンピュータの90%以上はLinuxを使用しています。 携帯端末用のプラットフォームAndroidは、Linuxカーネル上に構築されています。

実行する度にゾンビプロセスを生成するPythonスクリプト

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 2
  • VIEW 213

minhouse10

score 14

1/10/2018 解決:SymantecEndpointProtectionのバグによりゾンビプロセスが発生していたことがRHELとSymantecのサポート解析により判明しました。現在は対象サーバー上でSEPのサービスを停止した所、ゾンビプロセスが0となりました、現在SEPのパッチ適用調整中です。修正したPythonスクリプトはゾンビプロセスも生成せずに完璧にメモリ開放してくれる事を確認しました。nmyu様改めてありがとうございました!

nmyu様の以下ご教授により、Pythonスクリプト自体の問題点が修正され、スクリプト実行により生成されていた、ゾンビプロセス発生は抑える事ができてたと考えております。スクリプト実行されていない状況で一晩モニターした結果、200から300程度のゾンビプロセスが発生していたので、
現在はRHELのサポートにもサポートケースを作成し、他の要因も調査しております。

------------
子プロセスがSSH接続のために生成したソケットを適切にクローズできていないのではないかと考えています。スクリプトの定期実行を自動化した場合、いずれメモリを食いつぶしてしまうため対策を調べております。
ゾンビプロセス発生を防ぐ、または発生した場合に削除するなど、Pythonスクリプト内で対処する方法をご存知の方、ご教授頂けますと幸いです。

Pythonスクリプトの実行環境:
RHEL Linux7.2 Python Version 3.6

Pythonスクリプト仕様:
約200台ある対象LinuxサーバーIPを外部ファイル"systems.txt"から一行ずつ読み取ってSSH接続し、接続先のサーバーで実行するコマンドを外部ファイル"commands.txt"から一行読み取り実行(実行するコマンドは1つのみ)。
接続先のLinuxサーバーで実行されるコマンドの内容は、あるファイルに対して絶対パスでcatコマンドを実行、実行元のサーバーの標準出力に結果を表示します。

問題:
Pythonスクリプト実行毎に、ゾンビプロセスが100程度増え、メモリを圧迫しております。

強引ではありますが、下記MainProcedureに呼び出した変数に対するdelコマンドとガベージコレクションを実行するようにもしてみましたが、変わらずゾンビプロセスが発生します。

        for h in reader.hosts:
                for c in reader.commands:
                        executer = CommandExecuter(h, c)
                        results = executer.execute()
                        print("IP: {0} :({1}):".format(h, c) + '\n')
                        if results !=  None:
                                for i in results:
                                        print(i + '\n')
                del c
        del h
        gc.collect()


オリジナルフルコード:

#Modules
import paramiko
from contextlib import suppress
from paramiko import SSHException

#Variables
USER = 'UserID'
PSWD = 'password'


#Classes and Functions
class InputReader:
    def __init__(self, commands_path, hosts_path):
        self.commands_path = commands_path
        self.hosts_path = hosts_path

    def read(self):
        self.commands = self.__readlines(self.commands_path)
        self.hosts = self.__readlines(self.hosts_path)

    def __readlines(self, path):
        with open(path) as f:
            return [v.strip() for v in f.readlines()]

class CommandExecuter:
    def __init__(self, host, command):
        self.host = host
        self.command = command

    def execute(self):
       with suppress(TimeoutError):
           ssh = paramiko.SSHClient()
           ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
           ssh.connect(self.host, username=USER, password=PSWD)

           stdin, stdout, stderr = ssh.exec_command(self.command)

           errors = stderr.readlines()

           lines = [v.strip() for v in stdout.readlines()]
           return lines

    #ここで変数hの循環参照を起こしていた
       print('## SSH connection failed for %s ##' % h + '\n')

#Main Procedure
if __name__ == '__main__':
        reader = InputReader("commands.txt", "systems.txt")
        reader.read()

        for h in reader.hosts:
                for c in reader.commands:
                        executer = CommandExecuter(h, c)
                        results = executer.execute()
                        print("IP:{0}({1}):".format(h, c) + '\n')
                        if results !=  None:
                                for i in results:
                                        print(i + '\n')


コード修正箇所:

from contextlib import suppress, closing

~~~~途中省略

#Classes and Functions
class InputReader:
    def __init__(self, commands_path, hosts_path):
        self.commands_path = commands_path
        self.hosts_path = hosts_path

    def read(self):
        self.commands = self.__readlines(self.commands_path)
        self.hosts = self.__readlines(self.hosts_path)

    def __readlines(self, path):
        with open(path) as f:
            return [v.strip() for v in f.readlines()] #List comprehension

class CommandExecuter:
    def __init__(self, host, command):
        self.host = host
        self.command = command

    def execute(self):
       with suppress(Exception):
           with closing(paramiko.SSHClient()) as ssh:
               ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
               ssh.connect(self.host, username=USER, password=PSWD)

               stdin, stdout, stderr = ssh.exec_command(self.command)

               errors = stderr.readlines()

               lines = [v.strip() for v in stdout.readlines()]
               return lines
       print('## %s SSH connection failed ##' % self.host + '\n')

    def __del__(self):
       self.host = None
       self.command = None
       self.commands_path = None
       self.hosts_path = None
       self.exec_command = None
       del self

def main():
   reader = InputReader("/root/CR/commands.txt", "/root/CR/systems.txt")
   reader.read()

   for h in reader.hosts:
       for c in reader.commands:
           executer = CommandExecuter(h, c)
           results = executer.execute()
           print("IP: {0} :({1}):".format(h, c) + '\n')
           if results !=  None:
               for i in results:
                   print(i + '\n')
       del executer
       del results
       gc.collect()

#Main Procedure
if __name__ == '__main__':
        main()
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • minhouse10

    2018/01/09 00:34

    umyu様、すいません、def main()を定義したあとに、スクリプト自体が問題なく動作したという意味でした。しかしその後、SSH接続に失敗した場合に処理するPrint関数の実行にhの変数を呼び出せず失敗しまして、global hとdef execute関数の中で宣言する必要がありましたが、この方法はよろしくないでしょうか?、

    キャンセル

  • umyu

    2018/01/09 00:38 編集

    hはhostを表す文字列ですよね。だとしたらself.host が使えると思いますが。。 ってそこで循環参照してたのね。。原因発覚じゃないですかw

    キャンセル

  • minhouse10

    2018/01/09 00:51

    umyu様、度々のアドバイスありがとうございます!Main Procedureの中で定義したローカル変数hをグローバルスコープであるクラスの中で定義した関数の中で呼び出そうとしていたのですね。自分の無知についてお恥ずかしい限りです。

    キャンセル

回答 1

check解決した方法

+2

1/10/2018 解決:SymantecEndpointProtectionのバグによりゾンビプロセスが発生していたことがRHELとSymantecのサポート解析により判明しました。現在は対象サーバー上でSEPのサービスを停止した所、ゾンビプロセスが0となりました、現在SEPのパッチ適用調整中です。修正したPythonスクリプトはゾンビプロセスも生成せずに完璧にメモリ開放してくれる事を確認しました。nmyu様改めてありがとうございました!

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/01/11 00:32 編集

    解決おめでとうございます。umyuです><

    キャンセル

  • 2018/01/11 00:34

    umyu様、この度は色々とご教授頂き、本当にありがとうございました!解決できてよかったですし、Pythonスクリプトやゾンビプロセスについて勉強になりました!改めて感謝です!

    キャンセル

  • 2018/01/11 00:58

    Pythonもそうですが、ガベージコレクションがある言語は 1,ガベージコレクション管理外のリソース(今回の場合はソケット)を意識してコーディングする。2,ガベージコレクションがどう動いているのかを意識する必要があります。

    キャンセル

  • 2018/01/11 01:02

    umyu様、ありがとうございます!肝に銘じます。今までは素人の延長で出力結果だけをみてちゃんと動いているので良しとしてしまっていました。GCは奥が深いですし大事なことだと痛感です。クラス定義やグローバルスコープについても非常に勉強になりました。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 91.06%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

  • 受付中

    字下げについて

    お世話になります 本日マイナビ第26章を勉強しております http://news.mynavi.jp/series/python/026/ この中でどうしてもコマンドの字下げ

  • 解決済

    PHPのマジックメソッドのPython版

    PHPのメソッドに未定義な関数の呼び出しやプロパティの設定・取得が行われた時に、PHPから呼び出してくれる(いわゆるコールバックしてくれるマジックメソッドがあります。 #!/

  • 解決済

    AttributeError: 'Cifar10Reader' object has no attr...

    AttributeError: 'Cifar10Reader' object has no attribute 'bytestream'  のエラー が出ました。 reader.

  • 解決済

    Python メソッド間の変数の呼び出しについて

    Pythonを勉強しておりまして、現在は主にオブジェクト指向の考え方を学んでおります(オブジェクト指向はほとんど初学です)。これまでに書いたシンプルなプログラムをクラスとメソッドで

  • 解決済

    Pythonのループ操作

    Python超初心者です。 以下のような計算を行いたいときにはどのようなコードを書けばいいでしょうか? ある原子の座標があったとして、それらのステップ毎の計算を一気に行いたいで

  • 解決済

    センサーで感知すると天気予報を喋るプログラムの作り方

    前提・実現したいこと Raspberry piにセンサーを接続させて、天気予報を喋らせるというプログラムを実行したいのですがエラーがでて実行できませんでした。  センサーを接続させ

  • 解決済

    【pyqy5】画像の表示方法を工夫したい

    python3を使っています。pyqt5で下のようなウィジットを作りたいです 黄色いボタンを押すと前後の画像が真ん中に来るようにしたいです。しかし、どうすればいいのかよく分か

  • 解決済

    モジュール内部から、メインの関数を実行させたいです。

     前提・実現したいこと モジュール内部から、メインの関数を実行させたいです。 ウィンドウと黒いキャンバスを作成し、モジュールの関数を呼び出すボタン(module)を設けます。 次に

同じタグがついた質問を見る

  • Python 3.x

    3716questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • Linux

    3102questions

    Linuxは、Unixをベースにして開発されたオペレーティングシステムです。日本では「リナックス」と呼ばれています。 主にWebサーバやDNSサーバ、イントラネットなどのサーバ用OSとして利用されています。 上位500のスーパーコンピュータの90%以上はLinuxを使用しています。 携帯端末用のプラットフォームAndroidは、Linuxカーネル上に構築されています。