Q&A
ちゃんとコードを提示しましょう
M2DetをWindowsで実装しようと思い、サイトを参考にやっていたのですが、最後のコンパイルでエラーが出て、原因が分からず困っています。
環境
anaconda
python3.7
cuda10.0
（何を書けばいいかわからなかったのでとりあえずこれだけ書いてますが、他に知りたいバージョンあればコメントしてください）
やったこと
python setup.py build_ext --inplace
python setup_cuda.py build_ext --inplace
この二つを実行して、それぞれ
running build_ext
error: each element of 'ext_modules' option must be an Extension instance or 2-tuple
"setup_cuda.py", line 79, in spawn
os.path.dirname(find_executable("cl.exe", PATH))
~\ntpath.py", line 221, in dirname
return split(p)[0]
~\ntpath.py", line 183, in split
p = os.fspath(p)
TypeError: expected str, bytes or os.PathLike object, not NoneType
というエラーが出ました。
初心者なので、できるだけわかりやすく教えていただけると幸いです。
参考コードのURL
https://github.com/qijiezhao/M2Det
変更箇所
・setup.py
61行目を変更
変更前：for k, v in cudaconfig.iteritems():
変更後：for k, v in cudaconfig.items():
128～136行目をコメントアウト
・setup_cuda.py
61行目を変更
変更前：nvcc_compile_args = ['-O', '--ptxas-options=-v', '-arch=sm_35', '-c', '--compiler-options=-fPIC']
変更後：nvcc_compile_args = ['-O2', '--ptxas-options=-v', '-arch=sm_35', '-c', '--compiler-options=-fPIC']
100行目と101行目の間に以下を追記
#Remove ',ID=2'
elif ',ID=2' in c: cmd[idx] = c[0:len(c)-5]
> サイトを参考にやっていた
何をしたのかを、もっと詳しく
https://ameblo.jp/sijukara-tama/entry-12501430958.html
に書かれてるようなことを一通りやった、ということですか？
https://github.com/srpkdyy/M2Det-windows
は、Windows向けの修正済みのようなので、こちらを使ってみてください
先に紹介したブログの、(3)(4)を行った後の状態のようです
もう一つのコードが文字制限で貼れませんでした。
どうすればいいでしょうか？
回答ありがとうございます。
使用したサイトは
https://qiita.com/tame3_4dream/items/e86c2aac44cee8cd536a
です。
ありがとうございます！
試してみます！
参考にされてるところと、私が紹介したブログは、内容はほぼ同じです
setup_cuda.py の修正する行番号が違いますが、修正内容は同じなので、修正前のコードのバージョンが違うのかな、と想像します
setup.pyとsetup_cuda.pyは、元のコードのgithubのURL(アドレス)を書けば、ここの質問に貼るのは、自分で修正したところだけ抜き出して貼ればいいです
抜き出したのが何行目かも分かるように書いてください
https://github.com/qijiezhao/M2Det
に「the supported version is pytorch-0.4.1」と書かれてるので、もしWindows向け修正済みのでもエラー出たら、pytorchのバージョンを0.4.1に変えてみてください
返信遅れてすみません！！
pytorch-0.4.1にして行いましたが同じエラーが出ました。
もう一回入れなおした方がいいですかね、、、
CのコンパイラはVisual Studioですか?
もしそうなら、バージョンと種類(Expressとか)は何ですか?
使っているコンパイラはPyCharm2020.3です。
https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/index.html
の「1.1. System Requirements」に「A supported version of Microsoft Visual Studio」と書いてありますから、CUDAをインストールする前にVisual Studioをインストールしておく必要があります
そこは大丈夫でしょうか？
返信遅くなり申し訳ありません！
CUDAのインストールの時にVCUDAのインストールの時にisualStudioがインストールされない問題があり、調べるとNVIDIA関連のものを全てアンインストールするという対策しかなく、そのリスクをできるだけ負いたくないので別の方法を探しています。
他の方法があれば教えてください！
CUDAのコンパイルには、Visual Studioが必須です
CUDAのインストール時のエラーは、下記に書いてあるように、「Visual Studio Integration」のチェックを外せば大丈夫です
https://qiita.com/rhene/items/2a2eac7d1c0a8edc3ac5
この場合、visualstudioで直接CUDAを使用できなくなりませんか？
一応、その方法でCUDA10.0は入っています
> visualstudioで直接CUDAを使用できなくなりませんか？
Visual Studioはインストールしているのですか?
インストールしているなら、私の
> CUDAをインストールする前にVisual Studioをインストールしておく必要があります
> そこは大丈夫でしょうか？
に対して、「Visual Studio 20XX YYエディションをインストールしてるので、大丈夫です」みたいに回答したらいいと思うのですが
pythonでビルドする場合は、Visual Studioのコマンド(cl.exeとか)が使われるだけなので、「Visual Studio Integration」は関係ありません
Visual Studioがインストール済で、64bitのプログラムがコンパイル可能な状態だと仮定して書きます
pythonでビルドする際に、Visual StudioとCUDAのコマンドが実行できないといけないので、pathにそれらが入っている必要がありますけど、そこは大丈夫でしょうか?
そーなんですね！ そこでVisualStudioが使えないと勘違いしていました！
パスを通すのは、Windowsの環境変数設定画面で、CUDAのパス(C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin)を新規で追加するといいんですか？(そのレベルの超初心者ですみません！)
そのパスは通しています。
pythonでビルドしようとしている状態で、
https://qiita.com/wazakkyd/items/ab79920b22b24b385487
の「Sampleコードの実行」のCUDAのソースをコンパイルして実行することはできますか?
Visual Studioをインストールしたら、WindowsのメニューにVisual Studio用のコマンドプロンプトを起動する項目が作られますが、そちらで作業するのではなく、pythonでビルドしたい状態(pythonが普通に使える状態)で作業してください
その状態でCUDAのプログラムがコンパイルできるように設定しておかないと、ビルドできません
Visual Studioのコマンドを使うには、環境変数をいくつか設定したり、いろいろやることがありますので、CUDA用のpath設定だけでは使えないはずです
もし、Visual Studio用のコマンドプロンプトでもpythonを普通に使えるのなら、そちらを使うのでもいいです
それが可能なら、設定はそちらの方が簡単です
pythonが使えて、Visual Studioも使える、という状態を作らないと、ビルドできません
そのためには、下記のどちらかをやります
・普段pythonを実行している環境で、Visual Studioのコマンドが使えるように設定を追加する
・Visual Studioのコマンドが使える状態(Visual Studio用コマンドプロンプト)で、pythonが使えるように設定する
もしかしたら、何もしなくても、現状で後者になっているかもしれません
それなら、それが簡単です
＞「Sampleコードの実行」のCUDAのソースをコンパイルして実行することはできますか?
nvccは実行できたのですがCUDA Samplesの中身がなく、サンプルが実行できませんでした。これは失敗してますか？
visualstudioのコマンドプロンプトでpythonと打つと、マイクロソフトストアが開きpythonをインストールするよう促されます。これはpythonが使える状態でないという解釈で大丈夫ですか？
この場合どう言った手順で使えるようにすればよろしいでしょうか？
> nvccは実行できたのですがCUDA Samplesの中身がなく、サンプルが実行できませんでした。
念の為に、手順を確認します
https://qiita.com/wazakkyd/items/ab79920b22b24b385487
の「Sampleコードの実行」の「コードはこちら」の下に書かれてるのを「cudasample01.cu」という名前のテキストファイルに書いて保存してから、そのファイルが置かれているフォルダにコマンドプロンプトで cd して、
nvcc cudasample01.cu
としたのですよね?
(拡張子が .cu なら、ファイル名は違ってても大丈夫ですが)
手順が上記通りで、正常にコンパイルできたら、何かファイルができてます
上記ページでは拡張子が .exp のファイルができると書かれてますけど、おぼろげな記憶では .exe ができたような気もします (最近CUDAでプログラム書いてないのでおぼえてない)
それらしきものができてない、ということなら、CUDAのコンパイルができる状態にはなってないので、ビルドは当然できません
下記を教えてください
・pythonは何を使っているのか? 公式版? Anaconda? それ以外? 【追記】Anacondaって書いてありました
・Visual Studio のバージョン(2019とか)とエディション(Communityとか)
pythonはanacondaです
visualstudioは2017 Community です！
AnacondaプロンプトでVisual Studioのコマンドを使えるようにする手順を書きます
ただし、Visual Studioのバージョンによって多少メニューのショートカット名等が違うかもしれないので、ピッタリ同じものがなくても、適宜探してください
あと、手順を間違えたり、重要な設定を誤って書き換えたりしないように、おちついて慎重に作業してください
Windowsのメニューで、お使いのVisual Studioの、64bit用のコマンドプロンプトを起動するメニュー項目を探します
(探すだけで、起動はしません)
たぶん、「VS 2017 用 x64 Native Tools コマンド プロンプト」みたいな名前だと思います
見つかったら、マウスの「右クリック」→「その他」→「ファイルの場所を開く」を実行してください
そうしたら、メニューのショートカットがあるフォルダが開きます
そのフォルダから、該当するメニュー項目(上記で探したもの)を選んで「右クリック」→「プロパティ」→「ショートカット」→「リンク先」の内容を、新しいテキストファイルにコピペして保存してください
(くれぐれも、「プロパティ」の「リンク先」の内容を変更したりしないように、注意してください)
テキストファイルにコピペしたら、「プロパティ」は閉じてください
テキストファイルにコピペした「リンク先」の内容は、たぶん下記のようなものだと思います
%comspec% /k "C:\Program Files (x86)\Microsoft Visual Studio\2017\WDExpress\VC\Auxiliary\Build\vcvars64.bat"
上記から先頭の「%comspec% /k」は不要なので、テキストファイルでは削除してください
残った「"C:\Program Files...bat"」の部分を、全部そのままAnacondaプロンプトで実行してください
(最初と最後の「"」も含めて)
手順を間違えてなければ、これでAnacondaプロンプトでVisual Studioのコマンドが実行できるようになったはずなので、CUDAのサンプルをコンパイルしてみてください
なお、Anacondaプロンプトを起動し直したら、設定は消えてしまうので、「"C:\Program Files...bat"」は必要な時に都度実行する必要がありますので、それを書いたテキストファイルは捨てずに残しておいてください
(もちろん、普段pythonを使うときは設定は不要で、何かをビルドするとかインストールするときにしか設定する必要はありませんけど)
nvcc cudasample01.cuを行った結果、
cudasample01.cu
c1xx: fatal error C1083: ソース ファイルを開けません。'cudasample01.cu':No such file or directory
といったエラーがでてコンパイルできません。
コードを描く方法が間違っているのでしょうか？
No such file or directory だから、ファイル名が違うか、そのファイルを置いてる場所に cd できてないか、ではないですか?
nvcc する前に、dir でファイルがあるか確認してください
nvccがうまくいかなければ、
https://www.javadrive.jp/cstart/install/index5.html
の「C言語のサンプルプログラムをコンパイルする」の「sample.c」を作成して、Anacondaプロンプトで「sample.c」があるフォルダに cd してから、
cl sample.c
を実行してみてください
正常にコンパイルできたら .exe ファイルが作成されるので、実行してみてください
Anacondaプロンプトは、当然、Visual Studioコマンドが実行できる状態に予めしておかないといけません
名前が間違えていました！すみません！
結果
76 errors detected in the compilation of "C:/Users/XX/ｘ/Local/Temp/tmpxft_0000509c_00000000-12_cudasample01.cpp1.ii".
このようなエラーが出ました
C言語のサンプルでは成功しました！
念の為に、コンパイルしてできた .exe を調べてみてください
dumpbin /HEADERS sample.exe
とやると、ずらーっといろいろ表示されます
その先頭の方に、
FILE HEADER VALUES
数字 machine (x64)
みたいな行がありますけど、そこに上記のように(x64)と書かれてますでしょうか?
それとも、(x86)と書かれてますでしょうか?
ｘ86と書いてあります
あれれ、それだと設定が間違ってます
たぶん、プロパティを見たショートカットが、32bit用のを見てしまったのだと思います
テキストファイルにコピペしたのを、ここに書いてください (「"C:\Program Files...bat"」を全部)
そこ直さないと、CUDAのコンパイルはできません (CUDAは64bitのみ対応なので)
テキストファイルにコピペしたのをAnacondaプロンプトで実行したとき、正しい場合は下記のどちらかが最後に表示されます
Environment initialized for: 'x86_x64'
Environment initialized for: 'x64'
もし下記が表示されたら、間違ってます
Environment initialized for: 'x86'
ｘ64が出ました！
コピーするパスが間違えていました。
dumpbin /HEADERS sample.exe
で(x64)と表示されたなら、今度こそはCUDAプログラムのコンパイルができるのでは??
返信遅れてすみません。
コンパイルに成功しました！
これはｘ86、ｘ64のビット数？？が合わないとコンパイルできないという認識でいいんですか？
CUDAと無関係に一般的な話として、Windowsの.exeには32bit(x86)と64bit(x64)の2種類があり、コンパイルするときにどちらを作るかを決めます
Visual Studioだと、テキストファイルにコピペした.batファイルを実行するときに、それがどちらになるのかが決まります
CUDAでコンパイルしたら、CPUとGPUが連動して動く.exeが作成されます
コンパイルにあたり、CPU部分はVisual Studioが、GPU部分はCUDAツールキットが、それぞれ担当して、最終的にそれらが合体して.exeが作られます
以前はCUDAも32bitと64bitの両方をサポートしていたのですが、現在のバージョンは64bitのみのサポートですから、CUDAツールキットでコンパイルしたもの(GPU側)は64bit.exe用のものです
それと合体させるVisual StudioでコンパイルしたCPU側のも同じ64bitじゃないと、合体させることができません
なので、Visual Studioを64bit.exeを作れる状態にしないと、CUDAのプログラムから.exeを作れないのです
現状で、C++とCUDAで64bit用のコンパイルができる環境が整ったはずなので、M2Detがビルドできるのではないですかね??
回答1件
0
pythonが使えて、Visual Studioも使える(cudaのコンパイルができる)、という状態を作らないと、ビルドできません
そのためには、下記のどちらかをやります
・普段pythonを実行している環境で、Visual Studioのコマンドが使えるように設定を追加する
・Visual Studioのコマンドが使える状態(Visual Studio用コマンドプロンプト)で、pythonが使えるように設定する
Visual Studioを使いコマンドラインからC/C++のプログラムをコンパイルする
の「C言語のサンプルプログラムをコンパイルする」のコードのコンパイルと実行ができれば、Visual Studioは大丈夫です
CUDA 7.5 をWindows10にインストールし、Sampleコードを実行するまで
の「Sampleコードの実行」のコードのコンパイルと実行ができれば、cudaも大丈夫です
投稿2022/09/14 02:03
総合スコア7653
あなたの回答
tips
プレビュー
