Python3.X "インスタンスメソッド同士の並列処理"と"クラス内変数の共有"に対する可否とベストプラクティス

Question

2つのメソッドを持つMultiProcessInstanceClassクラスがあり、
そのクラス内にSubInstanceClassクラスのインスタンスを持っています。
SubInstanceClassクラス内ではlistをクラス内変数で持っており、そのlistの値は
MultiProcessInstanceClassの2つのメソッドから無限ループで更新・参照するとします。
この時、2つのメソッドは並列処理(同時進行)させたいです。
その場合以下のような実装になると認識しております。

import random

class MultiProcessInstanceClass():
    """並列処理させる2つのメソッドを持つクラス
    """
    def __init__(self):
        """コンストラクタ
        """
        self.subInstance = SubInstanceClass() #クラス内変数を持つサブクラスのインスタンス

    def updateFunc(self):
        """サブクラス内変数を更新する
        """
        while True:
            #無限に追加する
            self.subInstance.innerList.append(random.choice([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]))

    def printFunc(self):
        """サブクラス内変数の値を出力する
        """
        while True:
            #無限に値を出力する
            print(self.subInstance.innerList)

class SubInstanceClass():
    """クラス内変数を持つクラス
    """
    def __init__(self):
        """コンストラクタ
        """
        self.innerList = [] #無限に更新・参照されるlist

if __name__ == '__main__':
    #メイン実行
    mainInstance = MultiProcessInstanceClass()

    #ここでmainInstance.updateFuncをサブプロセスで起動

    #ここでmainInstance.printFuncをupdateFuncと同時進行でメインプロセスで起動

処理結果としては以下のようになればと考えております。
※同時進行させたいので、綺麗に1つずつ増えて出力されなくてもよいです。

[3]
[3]
[3, 7]
[3, 7, 0]
[3, 7, 0, 1]
[3, 7, 0, 1]
・
・
・

過去にも似たような質問がございましたが、やや私のシーンと異なっております。
過去質問1
過去質問2

pythonの並列処理(または同様の動作)を行うモジュールがいくつか提供されております。
(multiprocessing, asyncio...)
ですが公式記載や他の質問を見ても私のソースとシーンが異なり、
自分なりに実装してもうまく動作できずにおります。
(変数が更新されない、変数が参照できない、メインプロセスが動かない等)
色々試したコードは申し訳ございませんが、残っておりません。

補足として、実際の2つのメソッドは重いです。
単一のプロセスで行う場合かなり時間がかかってしまい、高速化を図り今に至ります。

上記を踏まえた上で質問です。

質問①：

このような動作を行わせることは可能でしょうか？

質問②：

可能であれば、そのモジュールやサブモジュールの組み合わせはなんでしょうか？
これがベストなのではというものも含めお教え頂きたく存じます。

質問③：

私としては、multiprocessing.Processとmultiprocessing.Queueを使用すれば
実現可能なような気がしておりますが、いかが思われますでしょうか？

追記

幾つか低評価を受けているようですので、追記いたします。
こちらの質問について、どのように記載したらよいかを尋ねているわけではございません。
あくまで"要件を実現可能なモジュール"をお聞きしております。
そちらも踏まえ、よろしければご回答頂きたくたく存じます。

Answer 1

並列処理をするにあたって、結果を格納するリストに複数のプロセス/スレッドからアクセスするのはよくありません。それがクラスになっていても同様です。
そもそも、別プロセスからは同一データにはアクセスできず、どうしてもということであればスレッドを使うことになりますが、その場合でもそのリストへの排他処理が必要になります。
ということで、その方式はお勧めではありません。、

並列処理したいのであれば、引数を受け取って(無くてもOK)結果のリストを返す関数を作って、joblib.Parallel で実行するのがいいのでは。
それぞれの処理の結果がリストになって得られます。

Comments

[退会済みユーザー]

ご回答ありがとうございます。
いろいろ調べましたが、joblibというモジュールは初耳でした。調べさせて頂きます。

スレッドはプロセス数は変わりないので、同時に処理を行える訳ではないのですよね。(並行処理)

それと、theading.Theadなら排他を上手く行ってくれる認識ですが、それでもあまり同一データにアクセスするのは望ましくないのでしょうか。

まだ私の質問内容を簡単に実装できるようなモジュールはないのかもしれませんね。(非推奨のようなものだから作られていないのかもしれませんね。)

Pythonという言語の特性も含め、やろうと思えば出来るけどやらない方がいいというのが結論なのかもしれませんね。

[TakaiY]

スレッドにしてもプロセスにしても、とあるプロセスは他のプロセスが何をしようとしているかはわかりませんし、自分自身もじつは細切れで実行されています。
なので、複数のプロセスが同一のリソース(リストなど)にアクセスする場合、同時に書き込みなどが起きると処理がぶつかって予期しない結果になることがあります。

「私の質問内容を簡単に実装」の質問内容というのが、同一のリソースに複数のプロセスからアクセスするということであれば、やらないほうがいいってことです。

[退会済みユーザー]

ご丁寧にご説明頂きありがとうございます。

言いづらいところではございますが、
実際に使用しようという訳ではないのですがこのような事がPythonで出来るか気になりまして、自分で試してみたら中々実現出来なかったものですから、知識を深めようとご質問させて頂きました。

実際に自分が設計する場合は、Pythonで並行処理を行うような設計はしないようにしたいと思います。

ありがとうございます。

[TakaiY]

「Pythonで並行処理を行うような設計はしない」ということではないです。
pythonのマルチスレッドは、GILのため効率よく動かないこともあるけど使いどころはあるし、マルチプロセスであれば、他の言語と同様の機能を持っています。 飛鳥があるのであれば、どしどし使うべきです。

[退会済みユーザー]

プロセス同士が独立して処理できるならというところでしょうか。
勉強になりました。ありがとうございました。