multiprocessing pool内でのerror の出力

Question

pythonのmultiprocessing.poolを用いてフィッティングとプロットを行おうとしています。指数関数を含む関数でフィッテングしたときのエラーや警告(例えば、runtimeerror)がどのファイルで出力されるのかを知りたいのですが、エラーが出力されません。改善方法をご教授願います。

import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import curve_fit
import os
import glob as gl
from multiprocessing import Pool


def func(x, a, b, c, d):
    y = a*np.exp(-b*(x - d)) + c
    return y

def fit(filename):
    try:
        rawdata = np.loadtxt(filename, delimiter = ',', skiprows = 2)

        popt_up, pcov_up = curve_fit(func, rawdata[:, 0], rawdata[:, 1])

        fig = plt.figure()
        ax = fig.add_subplot()
        ax.set_title(filename)
        ax.scatter(rawdata[:, 0], rawdata[:,1], s = 3)
        ax.plot(time_up, func(time_up, *popt_up), lw = 1)
        plt.savefig(filename.replace('.dat', '.png'), dpi = 300)
    except Exception as e:
        print(e)
        print(filename)

if __name__ == '__main__':

    file_list = [f for f in gl.glob('*.dat') if os.path.isfile(f)]

    p = Pool(8)
    p.map(fit, file_list)
    p.close()

Answer 1

ちゃんとやるのであれば、loggerを使うのがいいと思います。その場合でも複数プロセスで同時に書き込めるようにする必要があるので、面倒ではあります。

簡単にやるのであれば、以下のようにstdoutをファイルに振り向けてしまうという手があります。
これで、print式の出力がファイルに書き込まれるようになります。

sys.stdout = open(<filename>, "w")

ここのファイル名を全プロセス共通にすると、すべてのプロセスの出力が同じファイルに入ります。分けたければ、pidを含めるなど工夫が必要です。
、
、

Comments

[jiro3752]

この
'''
sys.stdout = open(<filename>, "w")
'''
の方法はスレッドセーフなのでしょうか。
よろしくおねがいします。

[TakaiY]

python3であればthread safeだと思ってます。実際、行内で出力が混ってしまうということは起きていません。
ただ、そう思って今、調べてみると、出力が乱れたというような書き込みもあったりするので、完全ではないかもしれません。

[jiro3752]

ありがとうございます。