ChainerCVを含むスクリプトをPyInstallerでexe化できない

ChainerCVを含むスクリプトを実行ファイルにコンパイルする必要が出てきたのですが、PyInstallerで出来ないか試行錯誤中です。

対象のファイル

問題を切り出すために、ChainerCVのモジュールを読み込むだけのスクリプトで試しています。
ファイル名：test.py

Python
1import chianercv
2print(chainercv)

PyInstallerによるexe化

pyinstaller -y ./test.py

これで./buildと./distのフォルダが作られます。

実行時の問題点

exe化までは実行されるのですが、そのファイルを実行すると下記のエラーが出て実行できずにおります。

[2124] Failed to execute script test
Traceback (most recent call last):
  File "test.py", line 1, in <module>
    import chainercv
  File "<frozen importlib._bootstrap>", line 971, in _find_and_load
  File "<frozen importlib._bootstrap>", line 955, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 665, in _load_unlocked
  File "c:\users\xxx\anaconda3\envs\py363\lib\site-packages\PyInstaller\loader\pyimod03_importers.py", line 631, in exec_module
    exec(bytecode, module.__dict__)
  File "chainercv\__init__.py", line 13, in <module>
    __version__ = pkg_resources.get_distribution('chainercv').version
  File "site-packages\pkg_resources\__init__.py", line 472, in get_distribution
  File "site-packages\pkg_resources\__init__.py", line 344, in get_provider
  File "site-packages\pkg_resources\__init__.py", line 892, in require
  File "site-packages\pkg_resources\__init__.py", line 778, in resolve
pkg_resources.DistributionNotFound: The 'chainercv' distribution was not found and is required by the application

どうもChainerCVのモジュールを見つけられていないようなのですが、どうしてChianerCVだけ問題が起きているのか分からずにおります。

その他

上記のtest.pyを直接たたくと問題なく実行できます

python ./test.py

また、読み込むモジュールはnumpy, scipy, chainerを試しましたが、これらでは問題が起きませんでした。また、Ubuntuでも同様の問題を抱えています。

Python 3.6.3
PyInstaller==3.4.dev0+g31785ca8
Chainer==3.4.0
ChainerCV==0.8.0
Windows 10 Pro (64bit)

行動規範の内容に同意します

回答1件

ベストアンサー

ChainerCV が、 pip 等によりパッケージがインストールされた setuptools 環境を前提として自己のバージョンを取得する実装となっているためにエラーが生じていると思われます。 PyInstaller 自体の処理は正常ではないでしょうか。

実際、スタックトレースを注意深く眺めると、例外を生じているのは chainercv/__init__.py の 13 行目と書かれており、このファイルのこの場所のようです。つまり、 chainercv のパッケージ自体は正常に PyInstaller により生成された実行ファイルに含まれていて、 import されようとしている が、その import 中に例外が生じているということになります。

該当の処理は、次のような 1 行なのですが、これは pkg_resources という setuptools に含まれたモジュールを使用し、インストールされたパッケージのメタデータからバージョンを取得しようとする処理ですね。そのため、通常の環境では問題なく動作し、 __version__ 変数を適切に設定してくれるのですが、 PyInstaller は pkg_resources の仕組みを現在、サポートしていないため、 PyInstaller 環境では正常に動作していないのだと思われます。

python
1__version__ = pkg_resources.get_distribution('chainercv').version

さて、対応方法としては幾つか考えられますが、一つは単純に問題を起こしているファイルを弄ってしまうというものがあります。前述の通り、問題を起こしているのは 単にバージョン情報を取得する というだけの、動作上は恐らく無為なものですから、適当に __version__ = "hogehoge" とでも書き換えてしまえば動作するようになると思われます。ただ、頑張れば PyInstaller のビルド時に自動的にこれを行う実装も可能かもしれませんが、何れにせよ、行儀の良い方法とは言えません。

もっと真っ当な方法としては、 pkg_resources が想定しているパッケージのメタデータを明示的に実行ファイルへと含めてあげるやり方があります。 pkg_resources はパッケージ情報として当該パッケージの PKG-INFO ファイルをパスの通った場所から探すので、これをデータファイルとして同梱してやるわけです。

幸いに、こうした場合に便利な copy_metadata() という関数が PyInstaller に用意されていますから、これを使って次のようなフックファイルを、パッケージ名から見つかるように hook-chainercv.py という名前で作成すると良さそうです。あとは、 --additional-hooks-dir オプションで当該フックファイルを含むディレクトリを指定してあげれば、 chainercv を同梱するときは自動的にそのメタデータも同梱してくれるようになり、 pkg_resources による例外が回避できるようになると思います。

python
1from PyInstaller.utils.hooks import copy_metadata
2
3datas = copy_metadata('chainercv')

他にも、例えば PyInstaller の runtime_hook を使って、実行時に pkg_resources.get_distribution() にモンキーパッチを当てるような方法もあるかもしれませんが、まあ、必要とされているファイルはきちんと同梱してあげるというのがやはり妥当なように思います。

投稿2018/03/21 09:27