pythonで並列処理、バックグラウンド処理

Question

前提・実現したいこと

pythonで並列処理、並行処理を利用してバックグラウンドで処理を繰り返しつつほかの作業もできるプログラムを作りたいです。
裏でdata_checker()でデータを常にチェックし、そのデータがある条件を満たしていれば・・・を行うというプログラムです。

https://qiita.com/castaneai/items/9cc33817419896667f34
こちらのサイトを参考に色々試したのですが、data_checkerを呼び出した後に並列処理されず、・・・まで到達できませんでした。
concurrent.futures以外でもなんでも良いのでこれを実現する方法があれば教えていただきたいです。
あと、できればメインの作業は関数として使用したくないです。

発生している問題・エラーメッセージ

エラーメッセージ

該当のソースコード

import concurrent.futures, time

def data_checker():
    global DATA
    while True:
        DATA = get_data()  # get_data()は、とあるサイトからある１つのデータを取り出す関数です。

if __name__ == "__main__":
    executor = concurrent.futures.ThreadPoolExecutor(max_workers=2)
    executor.submit(data_checker())
    while True:
        if DATA > 0:
           ・・・
           ・・・  # とある作業

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

ご質問のコードに書かれいる範囲で主たる問題は2つです。

• submitに関数を渡していない

submitには「別のスレッドで実行すべき関数」を渡さなければなりませんが、コードでは「別スレッドで実行すべき関数を直接呼び出しその結果をsubmitの引数に渡す」という書き方になってしまっています。submitに渡す前にdata_checker()の呼び出しをしているので当然ながらdata_checkerはメインスレッドで実行されてしまいます。
誤: executor.submit(data_checker())
正: executor.submit(data_checker)

• グローバル変数DATAは最初に代入されるまで存在しません

前述の修正をしても多分高確率でif DATA > 0:の行で実行時例外がおきます。なぜなら別スレッドでget_data()の結果をグローバル変数DATAへ代入する前にこのif文が実行され、その時点ではグローバル変数DATAが存在しないからです。
対処: if __name__ == "__main__":の次の行あたりにDATA = 0という文を追加しグローバル変数DATAを初期化しておく

---

余談:

上記の問題の他に、並列処理を行う場合の非常に大切な配慮として「同期」があります。リンク先の記事の内容は「とりあえず別々の処理を並列的に動かす」という範囲にとどまった内容であり、この「同期」について触れられていません。質問者さんの意図は「バックグラウンド処理で得た情報(DATA)に対して別のスレッド(メインスレッド)でなんらかの処理をしたい」わけですので並列処理間での同期を伴った情報のやりとりの配慮が必要だろうと思います。

同期についての詳細は割愛しますがマルチスレッドによる同期された情報のやりとりを簡単に行う方法として標準ライブラリにあるqueueモジュールを紹介しておきます。

Comments

[yeahboy]

ありがとうございます
threadとqueueでやってみようと思うのですが、Thread(target=・・・)を3行書いた場合、必要スレッドは3つでしょうか？それとも4つですか？

[KSwordOfHaste]

threading.Threadを直接用いた場合はThreadインスタンスを生成しただけスレッドができます。Pythonのプログラムを動かしたとき暗黙的にメインスレッドができてそのスレッドでプログラムが動き出しますので、Threadをもう一つ作れば全体としてスレッドは2個、もう一つ作れば3個・・・のようになります。

一方concurrent.futures.ThreadPoolExecutorですと「あらかじめいくつまでスレッドを作成しておくか」も設定でき、たくさんの仕事を別々のスレッドでやる際に「むやみやたらに多くのスレッドを起こす」のではなく「ある程度のスレッド数でそこそこの並列度をもたせる」ような制御が可能になります。

一般的に計算機に搭載されている「本当に並行に動かすことができるプロセッサーの数」は有限でたかだか4個～32個とかぐらいですのでやろうとしている計算(処理)の性質や必要なリソースのバランスをよく考えてどういう方法が最適かを検討することになると思います。

[yeahboy]

ありがとうございました！
無事に実装したいものができました！

Answer 2

こんにちは。

マルチスレッドならば（マルチプロセスでないなら）簡単です。
DATAを空のリストとして宣言して、
スレッドを立てるときに渡してあげましょう。
リストなどミュータブルなオブジェクトは
どちらのスレッドからもアクセスできます。

もちろんグローバル変数を使ってもよいです。
質問文のように関数内でglobalは使うときは
まず関数の外側でそのグローバル変数を宣言しておきましょう。