python pipのアップデートでエラーが出てしまいます(´;ω;｀)

Question

pipbacktesting.pyのパッケージのインストールをする際、JupyterNotebookで以下のようなエラーが出てしまいます。

WARNING: Running pip as root will break packages and permissions. You should install packages reliably by using venv: https://pip.pypa.io/warnings/venv

こちらのエラーを調べたところ、ルート権限を抜けてアップデートをするとうまくいくようなのですが、このルート権限を抜けてアップデートというのがどういった処理なのかわからず悩んでいます。

JupyterNotebookについてはDockerを使った環境構築を行っており、
Githubのリポジトリから必要なファイルを持ってきています。
JupyterNotebookはDocker Desktop for WindowsでLocalhost8888にアクセスして起動しています。

sudo apt update
sudo apt install python3-pip
を実行すればアップデートされるのでは、と試してみたのですが、うまくアップデートされていないようです。

詳しい方ご教示頂けないでしょうか。

よろしくお願い致します。

追記
この問題はどうやらパッケージの衝突が原因であることがわかりました。
返信頂きました、KUROROさんへの回答に私なりの解釈を記載しましたので。
間違いがあればご指摘頂けると嬉しいです。
よろしくお願いします。

Comments

[quickquip]

Jupyter Notebook上で「何をしたら」警告が出たのかが書かれていないようです。

あと
PythonとJupyter Notebookについて、どうやってインストールしたものを使っているか。
Jupyter Notebookをどうやって起動しているか。
もあるとよさそうです。

[退会済みユーザー]

言葉の説明だけですが…
> このルート権限を抜けてアップデート
sudoがroot(管理者)権限で操作するよ、のコマンドです。
sudo apt install python3-pip
は管理者権限で「誰でも使えるように」アプリをインストールします、です。

[y_masa.teratail]

返信が遅くなり、申し訳ありません。
指定頂いた内容をもとに質問を修正しましたので、
確認いただけると嬉しいです。
よろしくお願いします。

Answer 1

おはようございます。

問題文を読ませていただきました。

問題の本質から少し外れるかもですが、一度こちらの記事を読んでいただくことは可能でしょうか？
・https://kamatimaru.hatenablog.com/entry/2020/05/22/041527

Comments

[y_masa.teratail]

返信が遅くなり、申し訳ありません。
ご連絡いただきありがとうございます。

指定いただきました記事を拝見しました。

以下、私なりにこの問題を解釈してみましたので、
間違っている箇所があれば指摘頂けるとうれしいです。

環境構築はDockerを使って行っている
↓
仮想マシン内にて、anacondaで元からあるライブラリと
pipで新しく外部から持ってくるパッケージが衝突し、
環境が壊れてしまう可能性がある
↓
安易にpipで外部からインストールせずに、
まずは構築した環境内にほしいパッケージがあるか確認する。
↓
今回from backtesting import Strategyを実行したところ、
BokehJS 2.3.2 successfully loaded.
と表示されたので正常にインポートできたのだと思います。
↓
もしpipからしか入れられないパッケージを入れたい場合、
新しい環境を作る必要がある。

よろしくお願いします。

[退会済みユーザー]

なるほど、dockerfile内にRUN pip install --upgrade pip を記述して、imageを作成する際にupgradeすると良さそうですね。
https://stackoverflow.com/questions/52221590/how-can-i-upgrade-pip-inside-a-venv-inside-a-dockerfile

[y_masa.teratail]

VScodeで確認したところ、現在私のDockerfileではすでにRUN pip install --upgrade pip の記述がされていました。
ということは、imageの更新がされていなかった、ということで、
VScodeでDckerfileを開き、実行することが　”imageを作成する際にupgradeする” ということになるのでしょうか。

よろしくお願いします。

[退会済みユーザー]

状況を整理させてください。

今現在、Dockerのimageを作成(imageを作成するために必要なのが、
Dockerfile)し、ビルドしてローカルにて開発している認識は合っていますか？

そうならば、imageを適切に作れば、ローカルに入っているpipとかの衝突とかは関係ない気がしております。

考えられることとして、image内に含まれるパッケージの依存関係がごちゃごちゃしていてwarningが出ている感じですかね。。

試しにDockerfileのファイルを編集し、どこまでimageが正常に作成できるかご確認いただけますか？
基本的にDockerfileの上から実行されるので、コメントアウトしつつimageを作成する。

[y_masa.teratail]

返信頂き、ありがとうございます。

”Dockerのimageを作成し、ビルドしてローカルにて開発している認識”
↑
こちらについてDockerfileを確認しましたところ、
CMD ["jupyter-lab", "--ip= ","--port= " ,"--no-browser", "--allow-root", "--LabApp.token=''"]
の記述がありました。
これはローカルホスト(自分のPC)からssh接続できるDocker環境の構築
ということで、ローカルでビルドして開発しているということではないのでしょうか。。
もしかしたらこのへんの認識が間違っているのではないかと思い、
こちらだけ先に確認いただくことは可能でしょうか。

こちらの確認が取れ次第、Dockerfileの編集と、どこまでimageが正常に作成できるかの確認に移ろうと思います。
お手数おかけしますが、よろしくお願いします。

[退会済みユーザー]

> Dockerのimageを作成し、ビルドしてローカルにて開発している認識
こちらの認識で問題なさそうです。

> こちらの確認が取れ次第、Dockerfileの編集と、どこまでimageが正常に作成できるかの確認に移ろうと思います。
よろしくお願いいたします????‍♂️

[y_masa.teratail]

Docker imageの作成方法に手間取っており、
一度KUROROさんの回答をベストアンサーとさせていただきます。
Docker image作成の確認が取れ次第、こちらの窓口で再度質問させていただくことは可能でしょうか。

[退会済みユーザー]

承知です。

[y_masa.teratail]

Dockerfileをコメントアウトしつつ、imageをbuildし、確認を行いました。
pip install …
pip install …
…
の記述を全てコメントアウトしたところ、
imageが正常にbuildできました。
その後、jupyterlabにてpip install～を行ったところ、
succesfully installedとでました。

Dockerfileのpipとjupyterlabでのpipが衝突していた、
ということがわかりました。
（もともとのGithubからもってきたDockerfileはpipの記載があり、今まで警告無しに動いていたのは少しひっかかりますが、、）

ひとまず原因と対策ができましたのでご報告させて頂きます。

いろいろと助言頂き、本当にありがとうございます！

[退会済みユーザー]

お、ナイス自己解決です〜。

うまくいって本当によかった！！

また何か困ったことがありましたら、気軽にご相談ください〜