pythonでnumpyモジュールごと自作ツールを簡単に配布する方法はありますか？

Question

実現したいこと

• numpyモジュールを任意の場所に配置（インストール？）したい
• 任意の場所にあるnumpyを別の場所あるpythonスクリプトでimportしたい

前提

• あるソフトウェアの拡張ツールをPythonで自作しており、そのツールでnumpyを使用したい
• そのツールはクローズドなコミュニティ内で共有される可能性が高い
• 他ユーザーの環境ではPythonを実行することはできるがnumpyは入っていない
• 各々でnumpyインストールしてもらうというのも、ツール使用のハードルが上がるので避けたい
• 極力簡単にツールを使用できるようにしたいので1フォルダにnumpyもツール本体も全て収めたい

このような場合、どのようにするのがよいでしょうか？
また、上記のような方法でなくとも簡単にnumpyごとツール配布が行える方法があればご教示いただきたいです。

※当方趣味プログラマーなので意味不明なことを言ってしまっていたらすみません

試したこと

pipでusers/***/Local/Programs/Python/Python3.9/Lib/site-packages/numpyに
インストールされたnumpyを任意のフォルダに複製し、以下のコードを実行してインポートを試みた。
（あまりにも無理やりなので、当然エラーが出ました...）

import sys
sys.path.append(path/to/numpy)

import numpy
numpy.ndarray([0,1,0])# Error: AttributeError: file <maya console> line 5: 'module' object has no attribute 'ndarray' # 

フォルダ、ファイルの構成は以下のようになっています。
my_tools.pyで上記コードを実行しています。

Tools
├ __init__.py
├ my_tools.py
└ lib
   └ numpy

補足情報（FW/ツールのバージョンなど）

Python 2.7.11

Comments

[退会済みユーザー]

Q.1 Pythonのバージョンについて
> pipでusers/***/Local/Programs/Python/Python3.9/Lib/site-packages/numpyに
インストールされたnumpyを任意のフォルダに複製し
と
> 補足情報（FW/ツールのバージョンなど）
> Python 2.7.11
が一致しません。Python2はさすがにサポートが切れてずいぶん経つのでPython3ですよね？（違ったらごめんなさい。）
Q.2 「を任意の場所に配置（インストール？）したい」の意図を教えてもらえますか？
？普通にpip3 install ではダメな理由というのでしょうか。User権限と管理者権限でインストール先が変わるはずですが、それよりもっと変えたい（何ならvirtualenvしたい？）とかそういうことですか？

---

Python側でNumpyをインストールしようとしてみて、だめならsubprocess.popen(○○)でpip3 install numpyとかしてインポートたらいいのかなとも思います。

[Tommy]

ご質問ありがとうございます！

A.1
すみません、記載のバージョンは正しい情報になっております。
もしかして...？と思い、おかしなことをやっている自覚はありつつ複製を試してみた感じでした。
Python 2.7.11というのも、あるソフト内で（具体的にはAutodesk Mayaです）自作ツールを実行する
関係上そのPythonバージョンに合わせざるを得ないという状況になります。

A.2
こちらの意図としては、ワンフォルダにツールに関する全てのコードを収めておき、
配布する時はそのフォルダごと他の方に渡せるのが楽かなと思ったからです。
（当方プログラムに詳しいわけではないので、それ以外の発想が無いというのもあります...）

virtualenvしたい、というわけではないのですが、、
パスさえ通しておけば普通にimportできる自作のモジュールのように
numpyを扱いたい、というのがイメージに近いかもしれません。

A.1でお伝えしたAutodesk Mayaですが、そもそもnumpyが入っていない
ので、自分の環境でだけなんとかしてnumpyを使えるようにしても、他の人の
Mayaにはnumpyが入っていないので動かない、、、ならなんとかnumpyごと
配布したい、という感じになります。

答えになっているか自信はありませんが、よろしくお願いいたします。

[退会済みユーザー]

ありがとうございます。ちょっと事情が読めました。
https://unpyside.com/blog/2022/12/03/mayapythonadventcalendar2022day3/
にmayaはカスタム版Pythonが入っているので普通にpip installしては行けない、とありました。代わりに、mayapy -m pip install numpyみたいにすればインストールできそうです。

なので、
これをpython上からsubprocessでpopenしたら（Pythonからターミナルを走らせれば）なんとかなりそうです。具体的には
1.mayapyの中でnumpyをインポートしようとする…try except文です
2. うまく行けばハッピー
3.ダメならpopenからmayapy pip install(略)をする※pipがないならget-pip.pyのDLからコマンド指定する
4.インストール後に改めてnumpyをインポート
とかどうですか？

環境が特殊すぎてこちらでは検証できませんのでコメントにて。

[jbpb0]

> 以下のコードを実行してインポートを試みた。
（あまりにも無理やりなので、当然エラーが出ました...）

どのようなエラーが出たのでしょうか？

上記を実行したpythonのバージョンは、

> pipでusers/***/Local/Programs/Python/Python3.9/Lib/site-packages/numpyに
インストールされたnumpy

を普通にインポートできるpython 3.9と同じ、3.9でしょうか？

> sys.path.append(path/to/numpy)

の「path/to/numpy」は、「.../Tools/lib/numpy」ではなく、「.../Tools/lib」としてますでしょうか？

[Tommy]

@fourteenlengthさん
リアクション遅くなりましてすみません。

maya2022で「mayapy -m pip install numpy」をSubprocessから実行してみたところ無事numpyをインストールすることができました。また、try exceptでimoprtできるか試してみて、無理ならsubprocessで...という方法についても上手く行きました。ありがとうございます！

ただ、残念なことにmaya2020など古いバージョン（実は、自分を含め他の方もこちらをメインで使っております...）ではpip自体が入っておらず、「subprocess.call('mayapy -m pip install numpy')」を実行すると「# 結果: 1 #」と表示されpip自体が見つからなかったような結果となってしまっております...

[Tommy]

@jbpb0さん
ご質問くださりありがとうございます。
再度確認を行っていたためリアクション遅くなってしまいました。
解答前後してしまうのですが...

> 上記を実行したpythonのバージョンは、を普通にインポートできるpython 3.9と同じ...
実行したPythonのバージョンは2.7.11になります。

> 「path/to/numpy」は、「.../Tools/lib/numpy」ではなく、「.../Tools/lib」としてますでしょうか？
すみません、誤解を生む表現にしてしまいました。
実際にはsys.path.append(path/to/lib)としております。
ですので、つかされたpathは「.../Tools/lib」となっております。

> どのようなエラーが出たのでしょうか？
上記のようにpathの追加を行った後、以下のことを試しました。
（番号順に、連続して試しています）
-----------------------------------------------------------------
1. 「import numpy as np」を実行
--> # エラー: SyntaxError: file <maya console> line 1: invalid syntax #

2. 「import numpy」を実行
--> コンソールには何も出力されず、インポートされたように見えます

3. 「a = numpy.array([1, 2, 3])」を実行
--> # エラー: AttributeError: file <maya console> line 1: 'module' object has no attribute 'array' #

4. 「import numpy as np」を"再度"実行
--> コンソールには何も出力されず、インポートされたように見えます(一度目がなぜうまく行かなかったのか謎です...）
-----------------------------------------------------------------

よろしくお願いいたします。

[ikedas]

numpyをインストールして使いたいマシンのOSは何でしょうか (名称、バージョン、CPUの種類)。またそれは質問者さんの環境と同じでしょうか、違うでしょうか。

[jbpb0]

質問者さん

> 実行したPythonのバージョンは2.7.11になります。

その場合は、python 2.7にインストールされたnumpyを使わないとダメです

ikedasさんが質問してますが、pythonのバージョンだけじゃなく、osとcpu(インテルかarmか)も合わせないとダメです

[Tommy]

@ikedasさん
numpyをインストールしたいマシンのOSとCPUの情報です。
・OS --> Windows 10 Pro 64bit (Version: 21H1, OSBuild: 19043.1826)
・CPU --> Intel(R) Core(TM) i9-9900K CPU @ 3.60GHz 3.60 GHz

また、他のPCにもインストールを行いたいと思っておりますが、それらのPCは
Windodws10 Pro 64bitというところは共通ですが、CPUなどはIntel製の他のもの
（マシンによってまちまち）を積んでおります。

[Tommy]

@jbpb0さん
ご指摘ありがとうございます！
python2.7をインストールして、そこでnumpyをインストールして試してみようと思います。

osやcpuの規格などによってもインストールすべきバージョン（？）が変わるのですね。
この機会に調べてみようと思います。ありがとうございます。

[jbpb0]

質問者さん

> numpyをインストールしたいマシンのOSとCPUの情報です。

は、質問を編集して追記してください

> CPUなどはIntel製の他のもの （マシンによってまちまち）

その違いは気にしなくて大丈夫です

あと、書き忘れてましたが、pythonには32bit版と64bit版があり、それも同じじゃないとダメです
(64bit版windowsに32bit版pythonをインストールしても使えるため)

[jbpb0]

当方のwindowsのpython(anaconda)で、下記のようにして確認してみました

A. python2.7でnumpyを含む仮想環境「py27wnp」を作成
B. 仮想環境「py27wnp」のnumpy一式を、「C:\Users\XXX\Downloads」にコピー
C. python2.7でnumpyを含まない仮想環境「py27wonp」を作成
D. 仮想環境「py27wonp」を有効化し、pythonで下記のコードを実行
import sys
sys.path.append(r"C:\Users\XXX\Downloads")
import numpy as np

そうしたら、以下のエラーが出たので、当方の環境だと、このやり方だと不足してるものがありました
「Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "C:\Users\XXX\Downloads\numpy\__init__.py", line 142, in <module>
from . import core
File "C:\Users\XXX\Downloads\numpy\core\__init__.py", line 71, in <module>
raise ImportError(msg)
ImportError:
(中略)
Original error was: DLL load failed: 指定されたモジュールが見つかりません。」

https://github.com/numpy/numpy/blob/v1.16.6/numpy/core/__init__.py
を見ると、「from . import multiarray」でコケてるようなので、そこから調べると、下記も必要でした
・libiomp5md.dll
・mkl_avx2.dll
・mkl_core.dll
・mkl_intel_thread.dll
・mkl_rt.dll

そこで、仮想環境「py27wnp」にある上記dllを全て別のパスにコピーして、そこを環境変数Pathに追加したら、仮想環境「py27wonp」のpythonでもnumpyのインポートができました

ただし、当方の環境で追加で必要だった上記のdllは、condaでインストールしたanacondaのnumpyだから必要だった可能性があります
pipでインストールしたnumpyの場合は、そうではないかもしれません
(逆に、上記とは別の何かが追加で必要な可能性もあります)

上記の確認結果から分かるように、(numpy以外も含めて)必要なものを全部コピーして、適切に設定すれば、numpyをインストールしてないpython 2.7でも、numpyをインポートできると思います
当方の確認は、同じパソコンの同じpythonの別の仮想環境間で行いましたが、別のパソコンのpython間でも同様のはずです

[jbpb0]

condaでインストールしたanacondaのnumpyではなく、pipでインストールしたnumpyではどうなるのか、当方のwindowsのpython(anaconda)で、下記のようにして確認しました

A. python2.7でnumpyを含まない仮想環境「py27pipnp」を作成
B. 仮想環境「py27pipnp」を有効化し、そこにpipでnumpyをインストールして、仮想環境を無効化(deactivate)
C. 仮想環境「py27pipnp」にpipでインストールしたnumpy一式を、「C:\Users\XXX\Downloads」にコピー
D. python2.7でnumpyを含まない別の仮想環境「py27wonp」を作成
E. 仮想環境「py27wonp」を有効化し、pythonで下記のコードを実行
import sys
sys.path.append(r"C:\Users\XXX\Downloads")
import numpy as np

そうしたら、numpyをインストールしてない仮想環境「py27wonp」のpythonでも、numpyのインポートができました

上記の確認結果から分かるように、python 2.7にpipでインストールされたnumpy一式を全部コピーして、その場所を「sys.path」に追加したら、numpyをインストールしてないpython 2.7でも、numpyをインポートできると思います
(質問者さんが元々やろうとしてた方法)

当方の確認は、同じパソコンの同じpythonの別の仮想環境間で行いましたが、別のパソコンのpython間でも同様のはずです

Answer 1

• Python 2.7でpipを使ってNumPyをインストールするにはVC++などをインストールしなければならず、質問者さんの要求にあまり合っていないように思えます。
• AnacondaをインストールすればNumPyもついてきますが、Python 3になってしまいます。

確実にうまくいく保証はありませんが、バイナリ配布物を作成して配布する方法があります。手順の概略は次の通りです。

バイナリ配布物の作成

[追記]
Windows版のバイナリ配布物もPyPIにあるようなので、自分で作らなくてもそれを使えるかもしれません。その場合は「インストールのしかた」へ飛んでください。
[/追記]

1. setuptoolsとwheelをインストールしておく。

   python -m pip install setuptools wheel twine
   

2. NumPyのソースコードをリリース履歴から探してダウンロードする。
   ソースコードのファイルは「numpy-X.X.X.zip」とか「numpy-X.X.X.tar.gz」とかいう名前です。あまり新しいバージョンだとPython 2.7では動きません。
3. ソースを展開し、できたディレクトリに移動し、次を実行。

   python setup.py build
   python setup.py bdist_wheel
   

   (本当はbuildのあとにtestもしたほうがいいです。けっこう時間かかりそうですが)
4. distというディレクトリの中に numpy-X.X.X-cp27-cp27-win_amd64.whlというようなファイルができているはずです。これを配布します。

インストールのしかた

このwhlファイルは、配布先でpipを使ってインストールできます。

pip install .\numpy-X.X.X-cp27-cp27-win_amd64.whl

ですが実はこのファイル、拡張子が.whlなだけで中身は単なるZIPファイルです。拡張子を.zipに変えて展開してみると、site-packages下にインストールされるものがそのまま入っています。

ですから、配布先でZIPとして展開してやれば、もしかすると動くかもしれません。

importのしかた

展開先がsite-packagesの下だと管理者権限が必要だったりして展開できないかもしれませんが、任意の場所に展開したものをimportすることも可能でしょう。方法としては次のようなものがあります。

• PYTHONPATH環境変数にパスを設定する。
• スクリプト中でsys.pathにパスを追加する。

後者だけ説明します。たとえば、スクリプトと同じ場所にlibというディレクトリを掘ってその中にwhlファイルを展開した (numpyというディレクトリができます) とすると、スクリプトの先頭に次のようなコードを書けばよさそうです。

import os
import sys

mypath = os.path.join(os.path.dirname(__file__), "lib")
sys.path.insert(0, mypath)

import numpy

mypathの値は、実際に展開する場所に応じて変えてみてください。

異なる環境への配布

さて、質問コメントでも述べましたが、バイナリ配布物は一般に環境依存です。つまりOSの種類 (Windows、MacOS、Linux) やバージョン、CPUの種類 (Windowsなら32ビットか64ビットか、MacOSならIntelかARMか、など) 毎に配布物を作成する必要があります。また、基本的には配布先と同じ環境でないと配布物を作れません (一部できる場合もありますが、かなり難しいです)。

そういうわけで、異なる環境への配布も考えているのでしたら、相手と同じ環境を用意したほうがいいです。

---

以上、私はWindows上のPython環境を持っていないので確認はしていませんが、可能性のある方法を述べました。

Comments

[jbpb0]

> Python 2.7でpipを使ってNumPyをインストールするにはVC++などをインストールしなければならず

https://pypi.org/project/numpy/1.16.6/#files
の
numpy-1.16.6-cp27-cp27m-win*.whl
を使う場合でも、コンパイラとか要るのでしょうか？

[ikedas]

おお、あるのですね (よく見てなかった)。

だとすれば、配布物作成のステップはとばしてこれを使えそうですね。

あと、mayapyにABIの互換性がなくなるような変更が入っている可能性もないとは言えませんが、やってみないとわかりませんね。

[jbpb0]

> mayapyにABIの互換性がなくなるような変更が入っている可能性

https://unpyside.com/blog/2022/12/05/mayapythonadventcalendar2022day5/
に、別途インストールした公式版python 2.7にpipで必要なものをインストールして、その場所を環境変数「PYTHONPATH」で指定してmaya側のpythonで使う、という方法が解説されてるので、大丈夫ではないですかね

[ikedas]

xlwtをインストールして動いているようですが、これはpure PythonなのでABIは影響しないですね。

まあ万一の話ではありますし、もしもそうだったらmayapyを使ってバイナリ配布物の作成をするとかいう手もあるでしょう。

[jbpb0]

> これはpure PythonなのでABIは影響しないですね。

autodesk公式で、mayapyにpipでインストールする方法を解説してます
https://help.autodesk.com/view/MAYAUL/2022/JPN/?guid=GUID-72A245EC-CDB4-46AB-BEE0-4BBBF9791627

pure pythonのしかダメとは書いてないので、基本的には大丈夫だと思いますよ

【追記】
https://help.autodesk.com/view/MAYAUL/2022/JPN/?guid=GUID-C24973A1-F6BF-4614-BC3A-9F1A51D78F4C
に、mayapyではないpythonにインストールされたものを使う方法が書かれてますが、そこにもpure pythonのしかダメとは書いてないですね

Answer 2

ただ、残念なことにmaya2020など古いバージョン（実は、自分を含め他の方もこちらをメインで使っております...）ではpip自体が入っておらず、「subprocess.call('mayapy -m pip install numpy')」を実行すると「# 結果: 1 #」と表示されpip自体が見つからなかったような結果となってしまっております...

文法少々の誤りはあるかもしれませんが…

import os
import subprocess
import urllib

try:
    import pip
except Exception as err:
    # 本当はインポートエラーに限定するべきとは思います。

    # pipをインストールする。pipがない場合、get-pip.pyをDLするところから始める
    path_pip = "https://bootstrap.pypa.io/get-pip.py"
    dat= urllib.request.urlopen(path_pip).read()
    with open("./get-pip.py", mode="wb") as f:
        f.write(dat)
    
    # mayapyにpipをDLしたget-pip.py経由でインストールする 
    subprocess.Popen(["mayapy", "-m","./get-pip.py"], shell=True)

try:
    import numpy as np
except Exception as err:
    # 本当はインポートエラーに限定するべきとは思います。
    # ターミナルからnumpyをインストール
    subprocess.Popen(["mayapy", "-m", "pip", "install", "numpy"], shell=True)

Comments

[jbpb0]

もしかすると、python 2.7をサポートしてるnumpyのバージョン(1.16.6まで)を指定してpip installを実行する必要があるかもしれません
https://github.com/numpy/numpy/issues/14283

[退会済みユーザー]

pip install numpy==1.16.6 ですね

[jbpb0]

サポートしてる範囲内の最新バージョンをpipが自動的に選んでくれるかもしれませんが、もしうまくいかない場合は、ということで

[Tommy]

@fourteenlengthさん
ありがとうございます！コードを自分の環境で実行してみたところ、主に管理者権限周りで問題が出てしまい、
色々と調べて試してはみたのですが最終的に自力では解決はできませんでした...

mayapy.exeが存在するのがC:\Program Files\Autodesk\Maya2020\binなのですが、
管理者権限が必要なディレクトリのためwith openの部分でまずエラーが出てしまいました。

ただ、その先が上手くいくか試すため、とりあえず管理者としてコマンドプロンプトを開き、
手動でpipをインストールを行いました。
※get-pip.pyはこちらを使用しました --> https://bootstrap.pypa.io/pip/2.7/get-pip.py

「subprocess.Popen(["mayapy", "-m","./get-pip.py"], shell=True)」でpipのインストールを行いたかったのですが、管理者権限が無いためpipがuser/***/AppData/Roaming/Python/Pytho27/Lib/site-packages以下ににインストールされてしまいましたので手動インストールを試みた形になります。

その上で「subprocess.Popen(["mayapy", "-m", "pip", "install", "numpy"], shell=True)」を
実行してみたところ、やはり管理者権限が無いためAppData/Roaming/Python/Python27/Lib/site-packagesにnumpyがインストールされてしまいます。

冷静に考えるとインストール場所が意図通りではないのはさほど大きな問題ではないかなと思い、
...Python27/Lib/site-packagesへパスを通してnumpyをインポートしようとしたところ以下のようなエラーが出てしまいました。
（今回インストールしたnumpy以外のnumpyを全てアンインストールしたり、jbpb0さんがコメントしてくださっているようにnumpyバージョンを1.16.6でインストールしたり思いつく限りのことを試してみましたがこちらも解決はできませんでした...）

-------------------------------------------------------------------------------------------------------
# エラー: Error in maya.utils._guiExceptHook:
# File "C:\Program Files\Autodesk\Maya2020\Python\lib\site-packages\maya\utils.py", line 386, in formatGuiException
# exceptionMsg = unicode(exceptionObject)
# UnicodeDecodeError: 'ascii' codec can't decode byte 0x82 in position 1361: ordinal not in range(128)
#
# Original exception was:
# Traceback (most recent call last):
# File "<maya console>", line 2, in <module>
# File "C:\Users\****\AppData\Roaming\Python\Python27\site-packages\numpy\__init__.py", line 142, in <module>
# from . import core
# File "C:\Users\****\AppData\Roaming\Python\Python27\site-packages\numpy\core\__init__.py", line 71, in <module>
# raise ImportError(msg)
# ImportError:
#
# IMPORTANT: PLEASE READ THIS FOR ADVICE ON HOW TO SOLVE THIS ISSUE!
#
# Importing the multiarray numpy extension module failed. Most
# likely you are trying to import a failed build of numpy.
# Here is how to proceed:
# - If you're working with a numpy git repository, try `git clean -xdf`
# (removes all files not under version control) and rebuild numpy.
# - If you are simply trying to use the numpy version that you have installed:
# your installation is broken - please reinstall numpy.
# - If you have already reinstalled and that did not fix the problem, then:
# 1. Check that you are using the Python you expect (you're using C:\Program Files\Autodesk\Maya2020\bin\maya.exe),
# and that you have no directories in your PATH or PYTHONPATH that can
# interfere with the Python and numpy versions you're trying to use.
# 2. If (1) looks fine, you can open a new issue at
# https://github.com/numpy/numpy/issues. Please include details on:
# - how you installed Python
# - how you installed numpy
# - your operating system
# - whether or not you have multiple versions of Python installed
# - if you built from source, your compiler versions and ideally a build log
#
# Note: this error has many possible causes, so please don't comment on
# an existing issue about this - open a new one instead.
#
# Original error was: DLL load failed: %1 は有効な Win32 アプリケーションではありません。 #
-------------------------------------------------------------------------------------------------------

管理者権限問題はMaya自体を管理者として起動することで解決はするのですが、
管理者として起動させる部分で躓いてしまう方が時々いらっしゃるので避けられるなら避けたいと思ったりしております..

長々とすみませんが、現状としてはこのような感じになっております。

[退会済みユーザー]

> # UnicodeDecodeError: 'ascii' codec can't decode byte 0x82 in position 1361: ordinal not in range(128)
> 略
> # File "C:\Users\****\AppData\Roaming\Python\Python27\site-packages\numpy\core\__init__.py"
Pythonのインストール先のパス(=おそらくここではユーザー名)に二バイト文字が入ってnumpyのインポート時にこけているっぽいです。
対策があるとすれば、Pythonのインストール先を変えるくらいしかないように思います。

権限周りはOSとmayaの仕様と思いますので、管理者権限でインストールして特定のユーザーにアクセス権を与えるくらいしかなさそうです。

[jbpb0]

> # Original error was: DLL load failed: %1 は有効な Win32 アプリケーションではありません。 #

python本体のbitと、pythonがリンクしようとしてるdllのbitが違う場合にも、上記のエラーが出ます
https://www.reddit.com/r/learnpython/comments/lhmwjt/importerror_dll_load_failed_1_is_not_a_valid/

pipでnumpyをインストールしたpythonと、numpyをインポートできないpythonは、同じものでしょうか？

もし別のものなら、両方のpythonのbit(32か64か)は同じでしょうか？
(windowsのbitではなくpythonのbit)

【追記】
mayapy -m pip install numpy

でインストールしたら、mayapy.exeと同じbitのnumpyがインストールされるはずなので、上記は的外れな気がしてきました