mac環境でpyファイルを実行するとModuleNotFoundError: No module named 'pandas'

Question

windowsで作成したpythonコードをgithubを経由してmac環境にcloneしました。
必要なモジュールはrequirements.txtに記載しており、pip install -r requirements.txtにてインストールしましたが、ModuleNotFoundError: No module named 'pandas'となってしまいます。

pip3でインストールしなければいけないというような記述を見かけましたので、pipモジュールを一度全部削除してから、pip3 install -r requirements.txtで再インストールしましたが、結果は変わりません。

他にどこか確認すべき箇所はありますでしょうか？

Comments

[meg_]

そのpyファイルはどのように実行されましたか？pythonのバージョンは何ですか？

[jbpb0]

pip3 install...
を実行したのと同じ状態で
pip3 show pandas
を実行して表示される中に「Location:」で始まる行があれば、何と書かれてるか教えてください
(ユーザー名等の個人情報は伏せ字にして)

[Anon_]

pythonのバージョンは3.9.1です。
VS Codeの右上の実行マークから実行しました。

pip3 show pandasの結果です。
Location: /usr/local/lib/python3.9/site-packages

[jbpb0]

> ModuleNotFoundError: No module named 'pandas'

となる状態で、Pythonで下記のコードを実行したら、ずらーっとパスが表示されるので、それを教えてください
(ユーザー名等の個人情報は伏せ字にして)

import sys
import pprint
pprint.pprint(sys.path)

上記の結果で表示されるパスの中に

> /usr/local/lib/python3.9/site-packages

が含まれてますでしょうか？
含まれてないとimportできません

[Anon_]

import sys
import pprint
pprint.pprint(sys.path)

上記は何でしょうか？
pyファイル内に記載して実行するということでしょうか？

[jbpb0]

> pyファイル内に記載して実行するということでしょうか？

そうです

import pandas as pd

みたいなのを実行したら

> ModuleNotFoundError: No module named 'pandas'

となっているのですよね
エラーになるその行よりも前(ファイルの先頭)に追記してもいいし、私が提示したコード3行だけの *.py ファイルを作って実行してもいいです
(別のファイルを作る場合は、ファイル名は何でもいいです)

[Anon_]

Library/Python/3.8/lib/python/site-packages
というのはありますね。

[meg_]

> pythonのバージョンは3.9.1です。
> Library/Python/3.8/lib/python/site-packagesというのはありますね。

複数のバージョンのpythonがあるようですね。その辺りが想定通りに動作しない原因ではないでしょうか？

[Anon_]

一度しか入れた覚えはないんですけど、おかしいですね。
3.8か3.9どちらを削除すべきと思われますか？

[jbpb0]

3.9じゃないと動かないものが無いなら、現在はまだしばらく3.8を使う方がいいかもしれません

https://pypi.org/
のいろんなモジュールのページを見ると、まだ「Programming Language」に「Python :: 3.8」までしか書かれてないものがチラホラあります

「Programming Language」に3.8までしか書かれてないものを3.9に入れても動く場合もありますが、パッケージのメンテナーが3.9ではまだちゃんと動作確認してない場合が多いと思うので、なるべくそういう組み合わせでは使いたくない、と個人的には思います

[Anon_]

https://makaaso-tech.com/mac-big-sur-pyenv-python-zipimporterror/

OSがBigSurなので上記の記事を参考に3.8.6をインストールしました。
pyenv global 3.8.6のコマンドでpython -vでは3.8.6を読み込むようにはなったのですが、相変わらずmain.pyを起動するとModuleNotFoundError: No module named 'pandas'となります。
どう対処したらよいのでしょうか。

[jbpb0]

確認することは同じです

pandasをインストールしたのと同じ状態で、
pip3 show pandas
を実行して、いろいろ表示される中の「Location:」で始まる行に書かれてるパスを記録する
(pip3はpipかも)

> ModuleNotFoundError: No module named 'pandas'
となるコードの前に
import sys
import pprint
pprint.pprint(sys.path)
を追記して、上記エラーが出る状態で実行し、その結果表示されるパスの中に、
pip3 show pandas
で記録したパスが入ってるか？

[Anon_]

pyenvで3.8.6を入れたら今度はmain.py実行時に表示されるpprintのパスが3.9.1となりました。

pip show pandasのほうは
pyenv/versions/3.8.6/lib/python3.8/site-packages

となるので、もう一度pyenvで3.9.1に変更してみようと思います。

[jbpb0]

https://teratail.com/questions/323813
の回答に、「VSCodeのウィンドウ左下にpythonの表示があると思うのでそれをクリックして適切な環境に切り替えてください。」とあります
その方法で、VS Codeから使うPythonを、pipでpandasを入れた3.8.6に切り替えたら、importできるようになるのではないですかね (sys.pathが3.8.6になって)

[Anon_]

すみませんコメントに気づかず先走って3.9.1に変更してしまいました。
すると下記のように別のエラーの内容は変わっているように思いますが、まだ動いてはおらずどのように対処すべきか分かりません。
3.8の方がよいでしょうか。

/Users/username/.pyenv/versions/3.9.1/bin/python /Applications/MAMP/htdocs/test/snk_set/main.py

The default interactive shell is now zsh.
To update your account to use zsh, please run `chsh -s /bin/zsh`.
For more details, please visit https://support.apple.com/kb/HT208050.
usernames-MacBook-Pro:htdocs username$ /Users/username/.pyenv/versions/3.9.1/bin/python /Applications/MAMP/htdocs/test/snk_set/main.py
['/Applications/MAMP/htdocs/test/snk_set',
'/Users/username/.pyenv/versions/3.9.1/lib/python39.zip',
'/Users/username/.pyenv/versions/3.9.1/lib/python3.9',
'/Users/username/.pyenv/versions/3.9.1/lib/python3.9/lib-dynload',
'/Users/username/.pyenv/versions/3.9.1/lib/python3.9/site-packages']
python(71004,0x11fa78e00) malloc: can't allocate region
:*** mach_vm_map(size=18446744071574949888, flags: 100) failed (error code=3)
python(71004,0x11fa78e00) malloc: *** set a breakpoint in malloc_error_break to debug
init_dgelsd failed init
Traceback (most recent call last):
File "/Applications/MAMP/htdocs/test/snk_set/main.py", line 11, in <module>
import pandas as pd
File "/Users/username/.pyenv/versions/3.9.1/lib/python3.9/site-packages/pandas/__init__.py", line 11, in <module>
__import__(dependency)
File "/Users/username/.pyenv/versions/3.9.1/lib/python3.9/site-packages/numpy/__init__.py", line 286, in <module>
raise RuntimeError(msg)
RuntimeError: Polyfit sanity test emitted a warning, most likely due to using a buggy Accelerate backend. If you compiled yourself, see site.cfg.example for information. Otherwise report this to the vendor that provided NumPy.
RankWarning: Polyfit may be poorly conditioned

[jbpb0]

一番上の

> /Users/username/.pyenv/versions/3.9.1/bin/python

が、
/Users/username/.pyenv/versions/3.8.6/bin/python
になれば、pandasがimportできるのでは？？

> pip show pandasのほうは
> pyenv/versions/3.8.6/lib/python3.8/site-packages

なので

[jbpb0]

> 下記のように別のエラーの内容は変わっている

> RuntimeError: Polyfit sanity test emitted a warning, most likely due to using a buggy Accelerate backend. If you compiled yourself, see site.cfg.example for information. Otherwise report this to the vendor that provided NumPy.
RankWarning: Polyfit may be poorly conditioned

は、Numpyのバージョンによって出るみたいです (Macだけの現象かも)
https://qiita.com/typecprint/items/dbda6237c15e0ef40030
https://github.com/pandas-dev/pandas/issues/37057
https://github.com/numpy/numpy/issues/15947

[Anon_]

一旦先ほどの3.8.6の状態に戻して下記の方法を試してみますね。
https://teratail.com/questions/323813

[jbpb0]

> Numpyのバージョンによって出るみたいです (Macだけの現象かも)
https://qiita.com/typecprint/items/dbda6237c15e0ef40030
https://github.com/pandas-dev/pandas/issues/37057
https://github.com/numpy/numpy/issues/15947

上記を見たら、Numpy 1.19.3では直ってるらしいですが、それでもダメなら、Numpy 1.18を入れたら大丈夫みたいです

[Anon_]

ありがとうございます。
確認してみます。

[Anon_]

改善に近づいておりますが、次は下記のエラーが発生しております。
下記の記事に従って再インストールやbash_profileに環境変数の追加などを行って、何度かpython3.8.6の再インストールを行いましたが、まだ下記のエラーが出ておリます。
何か対処できる方法はありますでしょうか。

https://qiita.com/zabu/items/f1b0a58c8dfa810526dc

Traceback (most recent call last):
File "/Applications/MAMP/htdocs/test/snk_set/main.py", line 1, in <module>
from tkinter import *
File "/Users/username/.pyenv/versions/3.8.6/lib/python3.8/tkinter/__init__.py", line 36, in <module>
import _tkinter # If this fails your Python may not be configured for Tk
ModuleNotFoundError: No module named '_tkinter'

[Anon_]

ModuleNotFoundError: No module named '_tkinter'
の件は

https://qiita.com/zabu/items/f1b0a58c8dfa810526dc
上記の記事の内容を順番に実行したところ改善しました。

その後再度、numpyのエラーがでましたのでおっしゃる通りバージョンを1.18にしたところこちらのエラーも改善しました。

あとはpipで不足していたモジュールをインストールしたらようやくmain.pyが実行できるようになりました。

本当にありがとうございました。

Answer 1

pip3 install...
を実行したのと同じ状態で
pip3 show pandas
を実行してください
いろいろ表示される中に「Location:」で始まる行がありますので、そこに書かれてるパスを記録してください

次に、pythonで

ModuleNotFoundError: No module named 'pandas'

となる状態で、下記のpythonコードを実行してください

import sys
import pprint
pprint.pprint(sys.path)

たくさんパスが表示されますが、その中にpip show...で記録したパスが入ってますでしょうか？
入ってないとimportできません