ChainerCVを含むスクリプトをPyInstallerでexe化できない

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 2,146

tachikoma

score 3099

ChainerCVを含むスクリプトを実行ファイルにコンパイルする必要が出てきたのですが、PyInstallerで出来ないか試行錯誤中です。

 対象のファイル

問題を切り出すために、ChainerCVのモジュールを読み込むだけのスクリプトで試しています。
ファイル名:test.py

import chianercv
print(chainercv)

 PyInstallerによるexe化

pyinstaller -y ./test.py

これで./buildと./distのフォルダが作られます。

 実行時の問題点

exe化までは実行されるのですが、そのファイルを実行すると下記のエラーが出て実行できずにおります。

[2124] Failed to execute script test
Traceback (most recent call last):
  File "test.py", line 1, in <module>
    import chainercv
  File "<frozen importlib._bootstrap>", line 971, in _find_and_load
  File "<frozen importlib._bootstrap>", line 955, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 665, in _load_unlocked
  File "c:\users\xxx\anaconda3\envs\py363\lib\site-packages\PyInstaller\loader\pyimod03_importers.py", line 631, in exec_module
    exec(bytecode, module.__dict__)
  File "chainercv\__init__.py", line 13, in <module>
    __version__ = pkg_resources.get_distribution('chainercv').version
  File "site-packages\pkg_resources\__init__.py", line 472, in get_distribution
  File "site-packages\pkg_resources\__init__.py", line 344, in get_provider
  File "site-packages\pkg_resources\__init__.py", line 892, in require
  File "site-packages\pkg_resources\__init__.py", line 778, in resolve
pkg_resources.DistributionNotFound: The 'chainercv' distribution was not found and is required by the application

どうもChainerCVのモジュールを見つけられていないようなのですが、どうしてChianerCVだけ問題が起きているのか分からずにおります。

 その他

上記のtest.pyを直接たたくと問題なく実行できます

python ./test.py

また、読み込むモジュールはnumpy, scipy, chainerを試しましたが、これらでは問題が起きませんでした。また、Ubuntuでも同様の問題を抱えています。

Python 3.6.3
PyInstaller==3.4.dev0+g31785ca8
Chainer==3.4.0
ChainerCV==0.8.0
Windows 10 Pro (64bit)

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

+5

ChainerCV が、 pip 等によりパッケージがインストールされた setuptools 環境を前提として自己のバージョンを取得する実装となっているためにエラーが生じていると思われます。 PyInstaller 自体の処理は正常ではないでしょうか。

実際、スタックトレースを注意深く眺めると、例外を生じているのは chainercv/__init__.py の 13 行目と書かれており、 このファイルのこの場所 のようです。つまり、 chainercv のパッケージ自体は正常に PyInstaller により生成された実行ファイルに含まれていて、 import されようとしている が、その import 中に例外が生じているということになります。

該当の処理は、次のような 1 行なのですが、これは pkg_resources という setuptools に含まれたモジュールを使用し、インストールされたパッケージのメタデータからバージョンを取得しようとする処理ですね。そのため、通常の環境では問題なく動作し、 __version__ 変数を適切に設定してくれるのですが、 PyInstaller は pkg_resources の仕組みを現在、サポートしていない ため、 PyInstaller 環境では正常に動作していないのだと思われます。

__version__ = pkg_resources.get_distribution('chainercv').version

さて、対応方法としては幾つか考えられますが、一つは単純に問題を起こしているファイルを弄ってしまうというものがあります。前述の通り、問題を起こしているのは 単にバージョン情報を取得する というだけの、動作上は恐らく無為なものですから、適当に __version__ = "hogehoge" とでも書き換えてしまえば動作するようになると思われます。ただ、頑張れば PyInstaller のビルド時に自動的にこれを行う実装も可能かもしれませんが、何れにせよ、行儀の良い方法とは言えません。

もっと真っ当な方法としては、 pkg_resources が想定しているパッケージのメタデータを明示的に実行ファイルへと含めてあげるやり方があります。 pkg_resources はパッケージ情報として当該パッケージの PKG-INFO ファイルをパスの通った場所から探すので、これをデータファイルとして同梱してやるわけです。

幸いに、こうした場合に便利な copy_metadata() という関数が PyInstaller に用意されています から、これを使って次のようなフックファイルを、パッケージ名から見つかるように hook-chainercv.py という名前で作成すると良さそうです。あとは、 --additional-hooks-dir オプションで当該フックファイルを含むディレクトリを指定してあげれば、 chainercv を同梱するときは自動的にそのメタデータも同梱してくれるようになり、 pkg_resources による例外が回避できるようになると思います。

from PyInstaller.utils.hooks import copy_metadata

datas = copy_metadata('chainercv')

他にも、例えば PyInstaller の runtime_hook を使って、実行時に pkg_resources.get_distribution() にモンキーパッチを当てるような方法もあるかもしれませんが、まあ、必要とされているファイルはきちんと同梱してあげるというのがやはり妥当なように思います。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/03/21 20:51

    細かなところまで見ていただいてありがとうございます。今手元に実行環境がないのですが、明日早速試してみます。

    キャンセル

  • 2018/03/22 10:18

    無事通るようになりました。PyInstallerやsetuptoolsの関係情報も大変参考になります。ありがとうございました!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.21%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる