並列処理でのランタイムエラー( if __name__ == '__main__': freeze_support()...)

受付中

回答 0

投稿 編集

  • 評価
  • クリップ 1
  • VIEW 108

OMIM

score 0

前提・実現したいこと

Python・プログラミング初心者なので、質問が的を得ていなかったらすみません。

画像から詩を作成する機械学習のGitHub上のプロジェクト(こちら)を試しており、

おそらく並列処理(multiprocessing)の過程でランタイムエラーが発生し、解消できなくて困っています。

発生している問題・エラーメッセージ

(py27) C:\Users\admin\img2poem\code\src>python test.py
Loading Extracting Feature Module...
Traceback (most recent call last):
  File "test.py", line 8, in <module>
    extract_feature = nn_process.create('extract_feature')
  File "C:\Users\admin\img2poem\code\src\nn_process.py", line 19, in create
    proc.start()
  File "C:\Users\admin\Anaconda3\envs\py27\lib\multiprocessing\process.py", line 130, in start
    self._popen = Popen(self)
  File "C:\Users\admin\Anaconda3\envs\py27\lib\multiprocessing\forking.py", line 277, in __init__
    dump(process_obj, to_child, HIGHEST_PROTOCOL)
  File "C:\Users\admin\Anaconda3\envs\py27\lib\multiprocessing\forking.py", line 199, in dump
    ForkingPickler(file, protocol).dump(obj)
  File "C:\Users\admin\Anaconda3\envs\py27\lib\pickle.py", line 224, in dump
    self.save(obj)
  File "C:\Users\admin\Anaconda3\envs\py27\lib\pickle.py", line 331, in save
    self.save_reduce(obj=obj, *rv)
  File "C:\Users\admin\Anaconda3\envs\py27\lib\pickle.py", line 425, in save_reduce
    save(state)
  File "C:\Users\admin\Anaconda3\envs\py27\lib\pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "C:\Users\admin\Anaconda3\envs\py27\lib\pickle.py", line 655, in save_dict
    self._batch_setitems(obj.iteritems())
  File "C:\Users\admin\Anaconda3\envs\py27\lib\pickle.py", line 687, in _batch_setitems
    save(v)
  File "C:\Users\admin\Anaconda3\envs\py27\lib\pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "C:\Users\admin\Anaconda3\envs\py27\lib\pickle.py", line 754, in save_global
    (obj, module, name))
pickle.PicklingError: Can't pickle <function pipe_process at 0x000000000358A978>: it's not found as nn_process.pipe_process

(py27) C:\Users\admin\img2poem\code\src>Loading Extracting Feature Module...
Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "C:\Users\admin\Anaconda3\envs\py27\lib\multiprocessing\forking.py", line 380, in main
    prepare(preparation_data)
  File "C:\Users\admin\Anaconda3\envs\py27\lib\multiprocessing\forking.py", line 510, in prepare
    '__parents_main__', file, path_name, etc
  File "C:\Users\admin\img2poem\code\src\test.py", line 8, in <module>
    extract_feature = nn_process.create('extract_feature')
  File "C:\Users\admin\img2poem\code\src\nn_process.py", line 19, in create
    proc.start()
  File "C:\Users\admin\Anaconda3\envs\py27\lib\multiprocessing\process.py", line 130, in start
    self._popen = Popen(self)
  File "C:\Users\admin\Anaconda3\envs\py27\lib\multiprocessing\forking.py", line 258, in __init__
    cmd = get_command_line() + [rhandle]
  File "C:\Users\admin\Anaconda3\envs\py27\lib\multiprocessing\forking.py", line 358, in get_command_line
    is not going to be frozen to produce a Windows executable.''')
RuntimeError:
            Attempt to start a new process before the current process
            has finished its bootstrapping phase.

            This probably means that you are on Windows and you have
            forgotten to use the proper idiom in the main module:

                if __name__ == '__main__':
                    freeze_support()
                    ...

            The "freeze_support()" line can be omitted if the program
            is not going to be frozen to produce a Windows executable.

該当のソースコード

import nn_process
import time
import os
import sys

print ('Loading Extracting Feature Module...')
extract_feature = nn_process.create('extract_feature')
print ('Loading Generating Poem Module...')
generate_poem = nn_process.create('generate_poem')

# default path to an image
DEFAULT_PATH = '../images/test.jpg'

if sys.version_info[0] >= 3:
    raw_input = input
else:
    FileNotFoundError = IOError

def get_poem(image_file):
    """Generate a poem from the image whose filename is `image_file`
    Parameters
    ----------
    image_file : str
        Path to the input image
    Returns
    -------
    str
        Generated Poem
    """
    # Check whether the file exists
    assert os.path.exists(image_file), FileNotFoundError(
            'File `{}` not found.'.format(image_file))
    assert not os.path.isdir(image_file), FileNotFoundError(
            'The path should be a filename instead of `{}`.'.format(image_file))
    img_feature = extract_feature(image_file)
    return generate_poem(img_feature)

if __name__ == '__main__':
    while 1:
        try:
            s = raw_input("Please input the path to an image [default='%s']: " % DEFAULT_PATH)
            if not s:
                # s is empty, and use the DEFAULT_PATH
                s = DEFAULT_PATH
            tic = time.time()
            print ('\n' + get_poem(s)[0].replace('\n', '\n') + '\n')
            print ("Cost Time: %f" % (time.time() - tic))
        except Exception as e:
            print (e)

試したこと

こちらを見て、if name == 'main':の下に freeze_support()を入れたり、
こちらを真似して、if name == 'main':以下のコードを関数main()として外で定義してから実行したり、
上記を組み合わせたりしてみたのですが、同じエラーが出続けます。

補足情報(FW/ツールのバージョンなど)

Windows10, Anaconda3
を使っています。

Python2.7の仮想環境を作って、Anaconda Promptから実行しています

どうぞよろしくお願いいたします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正の依頼

  • quiqui

    2019/09/10 12:06 編集

    Tracebackを隠しているのはなぜでしょう

    キャンセル

  • OMIM

    2019/09/10 16:45

    すみません、Tracebackをすべて載せました。
    よく見たら、いちどpickle.PicklingErrorが出ていて、その後再度処理がなされているようです

    キャンセル

まだ回答がついていません

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.22%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる