内部関数を利用した並列処理について

Question

concurrent.futures モジュールのProcessPoolExecutorを利用して並列処理を行いたいのですがが、下記のようなエラーが出てしまいす。

AttributeError: Can't pickle local object '自作関数名.<locals>.並列処理する自作関数名'

multiprocessingでは内部処理はできないそうですが、ProcessPoolExecutorも内部関数を利用できないのでしょうか？

よろしくお願い致します。

Answer 1

＜原理的な話＞
並列処理は、複数のThreadもしくはProcessが同時並行的にプログラムを実行するものです。
そのため、個々のThreadもしくはProcessが呼び出しできる関数でなかれば実行できません。

内部関数は、その関数を含む外部関数の中からしか呼び出しできません。
そのため、並列処理をすることが出来ないのです。

「別Thread/Processから呼び出しできないプログラムは、並列実行できない」というのはThread/Processを用いた並列実行で共通した制約です。

＜おせっかい＞
実行するのが内部関数でなければならない理由があるのですか？
並列実行したい関数を外部関数として定義すれば問題が解決することは自明だと思うのですが

Comments

[NoPython_Nolife]

非常に分かりやすくご丁寧な回答を頂きまして感謝致します。納得できました。また,<おせっかい>との表現でご配慮いただきありがとうございますｗ確かにおっしゃるとおりでございますが、やろうとしていたことは、list_df[データフレーム1,データフレーム2]など複数のデータフレームをリストに格納し、for分で1個づつデータフレームを呼び出しそのデータに対して処理を行おうとしておりました。
たとえば、
list_df[データフレーム1,データフレーム2]
for ls in list_df:
　　data1 = ls.カラム名
　　def 関数A():
data1を利用した処理

if __name__ == '__main__': #
with ProcessPoolExecutor(max_workers=5) as executor:
for (result, h) in zip(executor.map(関数A ,hikisu1), hikisuu1):

このような処理を考えておりました。