wslでのpython、Anaconda、GPUの設定

Question

いつも勉強させていただいてます。

ChainerのDeep learningをしようと思い、
GeForce 1050ti
CUDA10.1
の設定済みパソコンにWSLのUbuntuを導入しました。
WSLにインストールしたPythonプログラムをiPythonで操作し、
Chainerの計算にGPUを使用したいと思っています。

In [6]: chainer.print_runtime_info()
Platform: Windows-10-10.0.18362
Chainer: 6.3.0
NumPy: 1.15.4
CuPy:
  CuPy Version          : 6.3.0
  CUDA Root             : C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1
  CUDA Build Version    : 10010
  CUDA Driver Version   : 10010
  CUDA Runtime Version  : 10010
  cuDNN Build Version   : 7500
  cuDNN Version         : 7500
  NCCL Build Version    : None
  NCCL Runtime Version  : None
iDeep: Not Available

上記の様にWindowsに入れたAnacondaでは設定できているのが確認できています。

次にWSLをUbuntuで起動し、/usr/local/lib/python2.7/dist-packages/にあるプログラムを
iPythonで呼び出すとimportできました。

https://sekailab.com/wp/2019/03/10/execute-windows-binary-on-wsl/
のサイトのように

vi .bashrcに以下を追記しました:
alias conda="conda.exe"
alias python="python.exe"
alias ipython="ipython.exe"
alias nosetests="nosetests.exe"
alias pip="pip.exe"

そしてコマンドプロンプトからWSLコマンドでWSLを起動するとWSLのディレクトリが確認できますがiPythonを実行するとWindowsのAnacondaが呼び出されるため、WSLの/usr/local/lib/python2.7/dist-packages/のプログラムが実行できません。

枠内のようにUbuntuでWSLを呼び出しWSLのipythonで/usr/local/lib/python2.7/dist-packages/PyRosettaにあるpyrosettaモジュールをインポートでき、枠外のようにコマンドプロンプトからWindowsのipythonでC：Anaconda2\envs'py27\Lib\site-packages\にあるchainer,cupyをインポートできました。しかし、コメント頂いたようにCupyを使うためにWSLのAlias ipython='ipython.exe'にすると棒矢印のようにWindowsのipythonが呼び出されるのでPyrosettaがインポートできません。パスを通してもWSLのディレクトリはWSL経由でないと呼び出せないとのことなので。WindowsでipythonからPyrosetta,chainer,cupyをインポートするにはどうしたらいいのでしょうか。

Answer 1

from distutils import log
ImportError: cannot import name 'log'

とあるので、distutilsが無いのかも知れませんね。distutilsはsetuptoolsに置き換わっているようです。
distutils --- Python モジュールの構築とインストール

distutils又はsetuptoolsはpython3環境にインストールされているのでしょうか？

Comments

[kak]

python3の環境でsetuptoolsをインストールし、無事にPython3.6 verのPyrosettaをインストールできました。Python3での利用は諦めていましたが、ChainerもPython3で使えます。ありがとうございました。
こんなに付き合っていただいて申し訳ないのですが、図に追記したように当方の環境でPyrosetta, cupy, chainerをIpythonでimportして使う方法を教えていただけませんでしょうか。

[nandymak]

コードを見せてください。

[kak]

from pyrosetta import *
pyrosetta.init()

class Pyrosetta:
def Module1:
.
,
,
,
,
,
,

def Module 2:
.
.
.
.
.

if __name__ == "__main__":

out = main()

このようなPyrosetta.pyをWSLに置いてWindows10側からwsl Pyrosetta.pyで呼び出せばPyrosettaを使える気がしてきました。
ひとます、WSL側のIpythonでPyrosetta.pyを作り、Chainer用のプログラムをWindows側のIpythonで書いてみます。
ありがとうございました。

Answer 2

WSLを介さずに素直にWindowsで動かせばどうでしょうか？

Chainerのインストール方法をわかりやすく解説｜Mac・Linux・Windows

Comments

[kak]

ありがとうございます。
使いたいPython library packageがWSLでしかインストール出来なかったので、GPUを使うにはWindowsからWSLを介さないと使えない状況なのです。

[nandymak]

「使いたいPython library package」はWindowsではインストールできないと言うことですか？
pipでインストールするのに何か環境依存の問題があるのでしょうか？
またWSLしかインストールできないというのも解せません。
Linux(Ubuntu)しか駄目と言うことですか？

Windowsでインストールできないchainer以外のライブラリとは具体的に何でしょうか？

[kak]

PyRosettaというPackageなのですが、
http://www.pyrosetta.org/documentation/windows
にあるようにWSLでのインストールしかサポートされていません。
さらに自分のノートPCの環境ではPython2.7のバージョンでしかインストール出来ず、Python3やVirtual boxではインストールできませんでした。

パッケージのダウンロード後に
Congratulations, you now have PyRosetta! You can set it up with the following commands:
cd [new PyRosetta folder]/setup
This moves you to the setup folder.
sudo python setup.py install
の段階で上手くいかないようです。

[nandymak]

なるほど、Mac/RedHat/Ubuntuしかサポートされていないのですね。

WSL/Ubuntuですがpython3.xがインストールできないのでしょうか？

当方のPCでは3.xがインストールされています。その辺りから環境が崩れているのかも知れませんね。

nandymak$ cat /etc/os-release
NAME="Ubuntu"
VERSION="18.04.3 LTS (Bionic Beaver)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 18.04.3 LTS"
VERSION_ID="18.04"
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
VERSION_CODENAME=bionic
UBUNTU_CODENAME=bionic
nandymak$ python3 -V
Python 3.6.8
nandymak$

[kak]

自分の環境では以下のようでした。

(dqn_pip) root@LAPTOP:~# cat /etc/os-release
NAME="Ubuntu"
VERSION="18.04.2 LTS (Bionic Beaver)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 18.04.2 LTS"
VERSION_ID="18.04"
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
VERSION_CODENAME=bionic
UBUNTU_CODENAME=bionic
(py37) root@LAPTOP:~# python -V
Python 2.7.15+
(py37) root@LAPTOP:~# python3 -V
Python 3.6.7

WSL/Ubuntuの環境は問題無さそうなのですが、PyRosettaのPython3.x用のPackageをsudo python setup.py installしたときにモジュールがインポートできずPython2.x用だと出来ました。
sudo python3 setup.py installにしないといけなかったのでしょうか？

[nandymak]

＞sudo python setup.py install
＞の段階で上手くいかないようです。
上手くいかないとはsetupでエラーになるのですか？
エラーメッセージはなんと出ますか？

＞WindowsのAnacondaが呼び出されるため、WSLの/usr/local/lib/python2.7/dist-packages/のプログラムが実行できません。
これは
＞alias python="python.exe"
としているので、windowsのバイナリが起動されるのが正しいと思います。

「/usr/local/lib/python2.7/dist-packages/のプログラム」とは何者ですか？このディレクトリに自分で書いたpyファイルがあるのですか？

[kak]

python3でsetup.pyしてみたところ以下のエラーになりました。
root@LAPTOP:/mnt/f/PyRosetta4.Release.python36.linux.release-232/setup# python3 setup.py install
Traceback (most recent call last):
File "setup.py", line 11, in <module>
import ez_setup
File "/mnt/f/PyRosetta4.Release.python36.linux.release-232/setup/ez_setup.py", line 24, in <module>
from distutils import log
ImportError: cannot import name 'log'

python setup.py installでpython3.6用のpyrosetta packageをインストールするとエラーなくインストール完了するのですが、いざインポートしようとすると以下の様になります。/usr/local/lib/python2.7/dist-packages/にインストールされpythonのバージョン違いの性だと思います。
In [1]: import pyrosetta
---------------------------------------------------------------------------
ImportError Traceback (most recent call last)
<ipython-input-1-f9c2792dfaa8> in <module>()
----> 1 import pyrosetta

/mnt/f/PyRosetta4.Release.python36.linux.release-232/setup/pyrosetta/__init__.py in <module>()
13 import os, sys
14
---> 15 import pyrosetta.rosetta as rosetta
16 import pyrosetta.bindings
17 import pyrosetta.protocols

ImportError: pyrosetta/rosetta.so: undefined symbol: PyInstanceMethod_Type

手こずりながらも何とかchainerもpython2でインポートできているようなので、ひとまずpython2バージョンのpyrosettaでもいいのですが、GPUを使うところで躓いています。やりたいことと現状を図にしてみましたので、解決策を教えていただけるとありがたいです。

[nandymak]

図を拝見しましたがよく意味がわかりませんでした。

ソースを実行してエラーが出るのであれば、ソースとエラーメッセージをご提示ください。