python ImportError: dlopen

Question

前提

python streamlit import

実現したいこと

初心者です
streamlit importの際に下記のエラーとなります

発生している問題・エラーメッセージ

ImportError: dlopen(/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/pyarrow/lib.cpython-310-darwin.so, 0x0002): tried: 
'/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/pyarrow/lib.cpython-310-darwin.so'
 (mach-o file, but is an incompatible architecture (have 'arm64', need 'x86_64')), 
'/System/Volumes/Preboot/Cryptexes/OS/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/pyarrow/lib.cpython-310-darwin.so' (no such file), 
'/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/site-packages/pyarrow/lib.cpython-310-darwin.so' 
(mach-o file, but is an incompatible architecture (have 'arm64', need 'x86_64'))

該当のソースコード

import streamlit as st

試したこと

pip 最新版にして再度streamlitインストール

iTerm "Rosettaを使用して開く"にチェックをいれてstreamlit再度インストール

補足情報（FW/ツールのバージョンなど）

MacOS 13.1 Apple M2チップ
python 3.10.7
streamlit 1.15.2

(mach-o file, but is an incompatible architecture (have 'arm64', need 'x86_64'))の部分が怪しいと思い色々調べてみましたが解決策の説明を見ても理解出来ませんでした。

以前までMacbook Pro (Late 2013)を使用しておりその時にHomebrewを使ってpythonをインストールしました。

M2チップMacbook Airに買い換えてから他のライブラリをインポート時に同様のエラーは何度かあったのですが再インストールしたりすると解決していました (ただ毎回何故か分からないまま解決してしまっていました)

それと、VScodeでJupyter Notebookを使用しているのですがカーネル？実行環境？をGlobal環境となっているPython 3.9.15 にするとimport error は起きません
(このグローバル環境も調べてみましたがよく理解出来ませんでした)

Python 3.9.15は usr/local/bin/python3.9となっており
Python 3.10.7は usr/local/bin/python3 となっています。

Python 3.10.7を選択している状態でも他のライブラリはインポート出来ます。

初心者で説明も分かりにくくて申し訳ないですが解決策教えてもらいたいです。
よろしくお願いします。

Comments

[ps_aux_grep]

インストール時のコマンドは何ですか？

[shu_21]

streamlitは pip install streamlit でした。

[ps_aux_grep]

python3.9とpython3.10が混同している環境なので，それだとエラーが起きやすいと思います．どっちのpythonに属するpipを使っているか明示していないからです．したがって，pythonカーネルを指定したインストールをするために
python3 -m pip install streamlit
のように書いてインストールします．python -m pip installを使ってもう一度再インストール等を試してください．

[shu_21]

ありがとうございます。

ただ pip uninstall streamlit でアンインストールし python3 -m pip install streamlit でインストールは成功しましたが、同じエラーとなりました…

アンインストールする際もコマンド変えた方がよろしいでしょうか？

[jbpb0]

> have 'arm64', need 'x86_64'

(rosettaが有効な状態で動いてる)インテル版のpythonに、arm版の共有ライブラリをインストールしてしまったので使えないようです

エラーメッセージに「.../site-packages/pyarrow/lib.cpython-310-darwin.so'」とあるので、

> iTerm "Rosettaを使用して開く"にチェックをいれてstreamlit再度インストール

rosettaが有効な状態で「pyarrow」を再インストールしたら直るかも

[quickquip]

pip に --no-cache-dir が要るかもしれないです
pipの出力全部あったほうがいいかもしれないです
今はrosetta2がonで固定されているとおもっていいですか
https://www.python.org/ からダウンロードしたPythonを使っているように見えますを（確証なしなので確認なのですが）そういうことはしてないですか

[jbpb0]

> pip に --no-cache-dir が要るかもしれないです

確実に再インストールするなら、上記に加え、「--force-reinstall」も付けた方がいいかも

[shu_21]

jbpb0様
quickquip様

pyarrowを --no-cache-dir --force-reinstallを加えて再インストールした所解決しました。

またquickquip様のご質問にあるPythonのインストール先ですが、brewでインストール後に
https://www.python.org/からもダウンロードしました...
ただ別々の所からダウンロードしたものを置いておくのはトラブルの元と知り公式からダウンロードしたものはアンインストールしていていました。説明不足で申し訳ありません。

ps_aux_grep様
結果的にトラブルの解決には直結しませんでしたが、ps_aux_grep様のコメントは非常に勉強になりました

本題とは離れてしまいますが個人的にはjbpb0様のコメントで解決したと思っていますが、この場合自己解決となるのでしょうか？

またquickquip様のご質問にある公式からダウンロードしたPythonはアンインストール出来ていなかったのでしょうか？

この場に相応しくない質問かもしれませんが教えていただきたいです

[quickquip]

エラーがparrowですから--force-reinstall必須でした。ありがとうございます。

> Pythonはアンインストール出来ていなかったのでしょうか？
想像だと、/Applicationsのなかのランチャーだけ削除して、本体と/usr/local/binのシンボリックリンクはそのままだったんじゃないかと思いました
https://docs.python.org/ja/3/using/mac.html

[shu_21]

全くその通りです…

残ってる部分についてもアンインストール出来るよう調べてみます。

ご丁寧な対応、ありがとうございました。

Answer 1

have 'arm64', need 'x86_64'

(rosettaが有効な状態で動いてる)インテル版のpythonに、arm版の共有ライブラリをインストールしてしまったので使えないようです

　
エラーメッセージに「.../site-packages/pyarrow/lib.cpython-310-darwin.so'」とあるので、

iTerm "Rosettaを使用して開く"にチェックをいれてstreamlit再度インストール

rosettaが有効な状態で「pyarrow」を再インストールしたら直ると思います

Comments

[shu_21]

何故pyarrowを再インストールしたら解決したのか、そもそも何故そのような解決策を考えられたのかなど自分の中では分からない部分は残っていますが、ひとまずは自力で調べてみたいと思います。

稚拙な質問にもかかわらずご対応ありがとうございました。