質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.00%

Pythonのマルチスレッド処理に関するエラー

解決済

回答 1

投稿

  • 評価
  • クリップ 1
  • VIEW 1,768

tenjin

score 248

 前提・実現したいこと

データセットがキーのアルファベット記号と要素の数字からなる辞書型で与えられており、
数字はリストに格納されています。リストの長さはキーによって様々です。
各キーの要素の数字間でそれぞれ、たすき掛けで掛け算し、最も大きいものを採用した上で、
配列の長さで割った値を2つのキー間の値として出力します。

これを大規模なデータセットで実行することを実現したいです。
関連する前回の質問

 発生している問題・エラーメッセージ

小規模なデータセットでは問題なく実行できますが、
このコードで、データセットのキーの数が大規模(例えば3万など)な場合、
1つのキーに対してたすき掛けの計算で比較する対象も膨大になるため、
現行のコードのまま実行すると膨大な時間がかかってしまいます。

そこで、並列処理を行うために、以下のコードを書いて、
辞書のキー別に平行で実行しようとしています。
現在のコードではキー別に実行する方法がわからないため、まず、全ての処理を3つのスレッドで平行して行う形式になっていますが、それでも以下のエラーが出てしまっている状況です。

#3つのスレッドで同じエラーが出ている状況です
Exception in thread Thread-8:
Traceback (most recent call last):
  File "/Users/username/anaconda/lib/python3.6/threading.py", line 916, in _bootstrap_inner
    self.run()
  File "/Users/username/anaconda/lib/python3.6/threading.py", line 864, in run
    self._target(*self._args, **self._kwargs)
TypeError: 'dict' object is not callable

Exception in thread Thread-6:
Traceback (most recent call last):
  File "/Users/username/anaconda/lib/python3.6/threading.py", line 916, in _bootstrap_inner
    self.run()
  File "/Users/username/anaconda/lib/python3.6/threading.py", line 864, in run
    self._target(*self._args, **self._kwargs)
TypeError: 'dict' object is not callable

Exception in thread Thread-7:
Traceback (most recent call last):
  File "/Users/username/anaconda/lib/python3.6/threading.py", line 916, in _bootstrap_inner
    self.run()
  File "/Users/username/anaconda/lib/python3.6/threading.py", line 864, in run
    self._target(*self._args, **self._kwargs)
TypeError: 'dict' object is not callable

 該当のソースコード

def compute(data, output):
    for alph, nums in data.items():
        avg = {}
        my_list = data[alph]
        for target_alph, target_nums in data.items():
            target_list = data[target_alph]
            if alph == target_alph:
                continue
            max_nums = []

            for i in my_list:
                max_num = 0
                for j in target_list:
                    result = i * j
                    if result is not None and result > max_num:
                        max_num = result
                max_nums.append(max_num) 
            avg[target_alph] = sum(max_nums) / len(max_nums)
            output[alph] = avg
    return output

data = {
    'A':[1, 3, 5, 2, 1, 8, 9],
    'B':[9, 4, 3], 
    'C':[8, 5, 5, 6, 1]
}

output = {}

compute(data, output)

thA = threading.Thread(target=compute(data, output)) #data['A']
thB = threading.Thread(target=compute(data, output))#data['B']
thC = threading.Thread(target=compute(data, output)) #data['C']

thA.start(); print ('A started.')
thB.start(); print ('B started.')
thC.start(); print ('C started.')

thA.join(); print ('A completed.')
thB.join(); print ('B completed.')
thC.join(); print ('C completed.')

 試したこと

試したことは、関数化した計算部分のコードと並列処理に関する簡単なコードです。
これらを組み合わせる段階でつまづいています。

関数化した計算部分のコード

def compute(data, output):
    for alph, nums in data.items():
        avg = {}
        my_list = data[alph]
        for target_alph, target_nums in data.items():
            target_list = data[target_alph]
            if alph == target_alph:
                continue
            max_nums = []

            for i in my_list:
                max_num = 0
                for j in target_list:
                    result = i * j
                    if result is not None and result > max_num:
                        max_num = result
                max_nums.append(max_num) 
            avg[target_alph] = sum(max_nums) / len(max_nums)
            output[alph] = avg
    return output

data = {
    'A':[1, 3, 5, 2, 1, 8, 9],
    'B':[9, 4, 3], 
    'C':[8, 5, 5, 6, 1]
}

output = {}

compute(data, output)


出力

{'A': {'B': 37.285714285714285, 'C': 33.142857142857146},
 'B': {'A': 48.0, 'C': 42.666666666666664},
 'C': {'A': 45.0, 'B': 45.0}}

並列処理に関する簡単なコード

import threading

def compute():
    x = 0
    times = 2 ** 26
    while x < times:
        x += 1

th1 = threading.Thread(target=compute)
th2 = threading.Thread(target=compute)

th1.start(); print '1 started.'
th2.start(); print '2 started.'

th1.join(); print '1 completed.'
th2.join(); print '2 completed.'

 補足情報(FW/ツールのバージョンなど)

Python3.6

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • umyu

    2018/09/01 11:35

    Pythonのthreading.ThreadはIO律速な処理を高速化するためのものなので、今回のようなCPU律速の処理を行うにはmultiprocessing やconcurrent.futures.ProcessPoolExecutorを使ってくださいな。

    キャンセル

回答 1

checkベストアンサー

+2

内容の是非や意味は無視して、出ているエラーについて回答しておきます。

threading.Threadtargetにはcallable(関数オブジェクトなど)を渡す必要があります。

threading.Thread(target=compute(data, output))

というコードは、compute(data, output)が評価されて結果の辞書になってtargetに渡されているので、無意味ですし間違っています。

引数を与えたければargsを使ってください。

threading.Thread(target=compute, args=(data, output))

以前の質問でコードの改良案を回答しましたが、どうなったのでしょうか。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/09/24 12:36

    以前、コードの改良案をご回答いただきましてありがとうございました。
    できる限り無駄を無くしたコードにしてもハードウェア側のスペックで計算が難しい状況です。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.00%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

同じタグがついた質問を見る