Python スレッド上におけるリストへの要素の追加について

Question

###前提・実現したいこと
Python3.5においてmultiprocessingライブラリを使ったスレッドにてリストの要素を追加したいです。

###該当のソースコードと実行結果

from multiprocessing import Process

class Test_Process(Process):
    def __init__(self, l):
        Process.__init__(self)
        self.l = l
    def run(self):
        for i in range(15):
            self.l.append(i)
        print('self.l = ', end='')
        print(self.l)
        return

r = [29,31]
t = Test_Process(r)
t.start()
t.join()
print('r = ', end='')
print(r)

上記のコードを実行すると以下のように出力されました。

self.l = [29, 31, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14]
r = [29, 31]

想定では r の中身は self.l と同じになると思ったのですが上手く動きませんでした。

###試したこと
以下に示すスレッドを使わない普通のクラスを使ったコードは実行すると r に対して要素が追加され思ったとおりになりました。

class Test_Class(object):
    def __init__(self, l):
        self.l = l
    def test_method(self):
        for i in range(15):
            self.l.append(i)
        print('self.l = ', end='')
        print(self.l)
        return

r = [29,31]
t = Test_Class(r)
t.test_method()
print('r = ', end='')
print(r)

実行結果

self.l = [29, 31, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14]
r = [29, 31, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14]

スレッドを使ったほうではなぜ動かないのかがわからないので原因を教えてほしいです。

Comments

[argius]

multiprocessingはスレッドとは異なりますのでご注意ください。

Answer 1

複数プロセス間で情報をやりとりする場合、明示的に共有の操作を行う必要があります。

元のコードの場合、渡したリストは別のプロセスが参照する時にオブジェクト自体がコピーされて別のもの（インスタンス）になってしまうので、別プロセスで変更した結果は呼び出し元のrには反映されません。

一例として、Managerを使う例を示します。

from multiprocessing import Process, Manager

# 略

manager = Manager()
r = manager.list([29, 31]) # 共有可能なリスト
t = Test_Process(r)

# 略

こうすると、複数プロセス間で共有するリストが生成され、結果が共有できるようになります。

17.2.1.5. プロセス間での状態の共有 - 17.2. multiprocessing — プロセスベースの並列処理 — Python 3.5.1 ドキュメント
http://docs.python.jp/3.5/library/multiprocessing.html#sharing-state-between-processes

関連する質問：
Python - Pythonのmultiprocessing.Processでのグローバル変数の共有について(21122)｜teratail
https://teratail.com/questions/21122

Comments

[pipopa]

回答ありがとうございます。訂正了解しました。
multiprocessingは別のメモリに作業場所が確保されて、必要なデータはコピーがとられるので、共有したいデータは明示する必要があるということですね。公式ドキュメントはしっかり読むようにします。
前回に続き回答して下さりありがとうございます。

[argius]

補足です。

multiprocessingは、マルチプロセスを使います。
メモリー空間というのはプロセスごとに持っているものですので、通常の1つのプロセスだったら共有できるような場面でも、マルチプロセスの場合はプロセスを作った時点のメモリーがコピーされた後で切り離されてしまいますので、独立したプロセス間では明示的にデータの連携を行わないとデータを共有できません。
Managerはその辺を上手くやってくれる仕組みです。

以上のことも含めてマルチプロセスはマルチスレッドに比べるとリソースを多く必要としますので、
非同期処理を行うだけならthreadingを使うことも検討してみて下さい。
マルチスレッドの場合も同時に読み書きする場合の考慮が必要ですが、マルチプロセスほどではありません。

[pipopa]

補足ありがとうございます。
threadingの場合は同メモリ上で処理が行われるのでLock等を用いて、1つのスレッドしか読み書きできないようにすればよいのですね。

データの共有が必要のない独立した処理や計算の場合は、マルチプロセスのほうがマルチスレッドより速度が速くなるという認識であっていますでしょうか？

[argius]

> threadingの場合は同メモリ上で処理が行われるのでLock等を用いて、1つのスレッドしか読み書きできないようにすればよいのですね。

はい、そうです。
ただ（キリが無いので簡単に...）ロックの方法にもいろいろあって、それによって処理速度を上げたりできます。

> データの共有が必要のない独立した処理や計算の場合は、マルチプロセスのほうがマルチスレッドより速度が速くなるという認識であっていますでしょうか？

処理の内容にもよりますが、
例えば以下の条件を満たしていれば速くなる可能性は高いと思います。
・処理が十分長い（プロセス起動のオーバーヘッドの影響が少ない）
・コア数が十分にあり、処理を均等に各コアに分散させている
・各コアを使い切るような計算・処理をさせている

Pythonのコードでは制御できないところも含みます。
Python本体がある程度うまくやってくれるはずですが、さすがに私もそれ以上はPythonのことは分からないので参考にとどめておいてください。

[pipopa]

ありがとうございます。並列処理は複雑で難しいですね...。もっとよく勉強します。

[yohhoy]

参考までに：Pythonの場合はマルチスレッドがあまり役に立ちません。全てのスレッドは単一プロセッサコア上で実行されるので、マルチコアを使い切れません。Pythonで並列計算をしたければ、必然的にマルチプロセスを利用する事になります。（Pythonスレッドの主用途は非同期I/O向けです。）

[argius]

to yohhoyさん

フォローコメントありがとうございます。
そうだったんですね。

to pipopaさん

ということで、
threadingも検討と言ってしまいましたが、明らかにマルチコアでの計算が要求される場合は、Pythonにおいてはそこまで検討しないで良いみたいですね。すみません。
前コメントは一般論として、ということでご容赦ください。