編集履歴

質問編集履歴

condaでtensorflow2.3を利用する方法

2021/07/26 17:33

投稿

37458

スコア70

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -1,3 +1,15 @@
+###追記(2021/07/27)
+```
+conda install tensorflow-gpu=2.3 tensorflow=2.3=mkl_py38h1fcfbd6_0
+```でビルドを指定すれば、condaでも正しくビルドされたtf2.3.0を利用できます。
+python3.8以上でしか利用できないビルドのようなので、python3.7ではインストールに失敗します。
+参考:[https://nixeneko.hatenablog.com/entry/2021/06/16/000000](https://nixeneko.hatenablog.com/entry/2021/06/16/000000)
 ### 発生している問題・エラーメッセージ
 anacondaでtensorflow-gpuのバージョンを2.1から2.3へアップグレードしたのですが、GPUが認識されません。何が間違っているのか全く分からないため、質問させていただきます。ご助力頂ければ幸いです。

リンクの追加

2021/07/26 17:33

投稿

37458

スコア70

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -114,7 +114,9 @@
 ###参考にしたページ
-[ソースからのビルド|TensorFlow(windowsは無し)](https://www.tensorflow.org/install/source#common_installation_problems)
+[ソースからのビルド|TensorFlow(mac,linux)](https://www.tensorflow.org/install/source#common_installation_problems)
+[ソースからのビルド|TensorFlow(windows)](https://www.tensorflow.org/install/source_windows)
 [cuda-toolkit-release-notes](https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html)

追記2　pipによるインストール

2021/03/12 10:55

投稿

37458

スコア70

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -135,3 +135,223 @@
 To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
 ```
+###追記2
+pipによるインストール(pip install tensorflow-gpu==2.3.0)を試した結果、GPUが認識されました。
+```
+Successfully installed
+absl-py-0.11.0
+astunparse-1.6.3
+cachetools-4.2.1
+gast-0.3.3
+google-auth-1.27.0
+google-auth-oauthlib-0.4.2
+google-pasta-0.2.0
+grpcio-1.36.0
+h5py-2.10.0
+keras-preprocessing-1.1.2
+markdown-3.3.4
+numpy-1.18.5
+oauthlib-3.1.0
+opt-einsum-3.3.0
+protobuf-3.15.3
+pyasn1-0.4.8
+pyasn1-modules-0.2.8
+requests-oauthlib-1.3.0
+rsa-4.7.2 scipy-1.4.1
+tensorboard-2.4.1
+tensorboard-plugin-wit-1.8.0
+tensorflow-gpu-2.3.0
+tensorflow-gpu-estimator-2.3.0
+termcolor-1.1.0
+werkzeug-1.0.1
+wrapt-1.12.1
+```
+condaによるインストールの場合は以下のパッケージです。
+```
+_tflow_select      pkgs/main/win-64::_tflow_select-2.3.0-gpu
+  absl-py            pkgs/main/noarch::absl-py-0.11.0-pyhd3eb1b0_1
+  aiohttp            pkgs/main/win-64::aiohttp-3.7.4-py37h2bbff1b_1
+  astunparse         pkgs/main/noarch::astunparse-1.6.3-py_0
+  async-timeout      pkgs/main/win-64::async-timeout-3.0.1-py37haa95532_0
+  attrs              pkgs/main/noarch::attrs-20.3.0-pyhd3eb1b0_0
+  blas               pkgs/main/win-64::blas-1.0-mkl
+  blinker            pkgs/main/win-64::blinker-1.4-py37haa95532_0
+  brotlipy           pkgs/main/win-64::brotlipy-0.7.0-py37h2bbff1b_1003
+  cachetools         pkgs/main/noarch::cachetools-4.2.1-pyhd3eb1b0_0
+  cffi               pkgs/main/win-64::cffi-1.14.5-py37hcd4344a_0
+  chardet            pkgs/main/win-64::chardet-3.0.4-py37haa95532_1003
+  click              pkgs/main/noarch::click-7.1.2-pyhd3eb1b0_0
+  coverage           pkgs/main/win-64::coverage-5.4-py37h2bbff1b_2
+  cryptography       pkgs/main/win-64::cryptography-3.3.1-py37hcd4344a_1
+  cython             pkgs/main/win-64::cython-0.29.22-py37hd77b12b_0
+  gast               pkgs/main/noarch::gast-0.3.3-py_0
+  google-auth        pkgs/main/noarch::google-auth-1.27.0-pyhd3eb1b0_0
+  google-auth-oauth~ pkgs/main/noarch::google-auth-oauthlib-0.4.2-pyhd3eb1b0_2
+  google-pasta       pkgs/main/noarch::google-pasta-0.2.0-py_0
+  grpcio             pkgs/main/win-64::grpcio-1.35.0-py37hc60d5dd_1
+  h5py               pkgs/main/win-64::h5py-2.10.0-py37h5e291fa_0
+  hdf5               pkgs/main/win-64::hdf5-1.10.4-h7ebc959_0
+  icc_rt             pkgs/main/win-64::icc_rt-2019.0.0-h0cc432a_1
+  idna               pkgs/main/noarch::idna-2.10-pyhd3eb1b0_0
+  importlib-metadata pkgs/main/noarch::importlib-metadata-2.0.0-py_1
+  intel-openmp       pkgs/main/win-64::intel-openmp-2020.2-254
+  keras-applications pkgs/main/noarch::keras-applications-1.0.8-py_1
+  keras-preprocessi~ pkgs/main/noarch::keras-preprocessing-1.1.2-pyhd3eb1b0_0
+  libprotobuf        pkgs/main/win-64::libprotobuf-3.14.0-h23ce68f_0
+  markdown           pkgs/main/win-64::markdown-3.3.4-py37haa95532_0
+  mkl                pkgs/main/win-64::mkl-2020.2-256
+  mkl-service        pkgs/main/win-64::mkl-service-2.3.0-py37h196d8e1_0
+  mkl_fft            pkgs/main/win-64::mkl_fft-1.3.0-py37h46781fe_0
+  mkl_random         pkgs/main/win-64::mkl_random-1.1.1-py37h47e9c7a_0
+  multidict          pkgs/main/win-64::multidict-5.1.0-py37h2bbff1b_2
+  numpy              pkgs/main/win-64::numpy-1.19.2-py37hadc3359_0
+  numpy-base         pkgs/main/win-64::numpy-base-1.19.2-py37ha3acd2a_0
+  oauthlib           pkgs/main/noarch::oauthlib-3.1.0-py_0
+  opt_einsum         pkgs/main/noarch::opt_einsum-3.1.0-py_0
+  protobuf           pkgs/main/win-64::protobuf-3.14.0-py37hd77b12b_1
+  pyasn1             pkgs/main/noarch::pyasn1-0.4.8-py_0
+  pyasn1-modules     pkgs/main/noarch::pyasn1-modules-0.2.8-py_0
+  pycparser          pkgs/main/noarch::pycparser-2.20-py_2
+  pyjwt              pkgs/main/win-64::pyjwt-1.7.1-py37_0
+  pyopenssl          pkgs/main/noarch::pyopenssl-20.0.1-pyhd3eb1b0_1
+  pyreadline         pkgs/main/win-64::pyreadline-2.1-py37_1
+  pysocks            pkgs/main/win-64::pysocks-1.7.1-py37_1
+  requests           pkgs/main/noarch::requests-2.25.1-pyhd3eb1b0_0
+  requests-oauthlib  pkgs/main/noarch::requests-oauthlib-1.3.0-py_0
+  rsa                pkgs/main/noarch::rsa-4.7.2-pyhd3eb1b0_1
+  scipy              pkgs/main/win-64::scipy-1.6.1-py37h14eb087_0
+  six                pkgs/main/win-64::six-1.15.0-py37haa95532_0
+  tensorboard        pkgs/main/noarch::tensorboard-2.3.0-pyh4dce500_0
+  tensorboard-plugi~ pkgs/main/noarch::tensorboard-plugin-wit-1.6.0-py_0
+  tensorflow         pkgs/main/win-64::tensorflow-2.3.0-mkl_py37h10aaca4_0
+  tensorflow-base    pkgs/main/win-64::tensorflow-base-2.3.0-eigen_py37h17acbac_0
+  tensorflow-estima~ pkgs/main/noarch::tensorflow-estimator-2.3.0-pyheb71bc4_0
+  tensorflow-gpu     pkgs/main/win-64::tensorflow-gpu-2.3.0-he13fc11_0
+  termcolor          pkgs/main/win-64::termcolor-1.1.0-py37haa95532_1
+  typing-extensions  pkgs/main/noarch::typing-extensions-3.7.4.3-hd3eb1b0_0
+  typing_extensions  pkgs/main/noarch::typing_extensions-3.7.4.3-pyh06a4308_0
+  urllib3            pkgs/main/noarch::urllib3-1.26.3-pyhd3eb1b0_0
+  werkzeug           pkgs/main/noarch::werkzeug-1.0.1-pyhd3eb1b0_0
+  win_inet_pton      pkgs/main/win-64::win_inet_pton-1.1.0-py37haa95532_0
+  wrapt              pkgs/main/win-64::wrapt-1.12.1-py37he774522_1
+  yarl               pkgs/main/win-64::yarl-1.6.3-py37h2bbff1b_0
+  zipp               pkgs/main/noarch::zipp-3.4.0-pyhd3eb1b0_0
+```
+condaではcudnnとcudatoolkitがインストールされていないようなので、別途インストールしています。(そのままでは動かないため別途インストールしましたが、pipインストール時もインストールされていないようなので、無駄なことをしているかもしれません。)
+仮想環境下であるため割り切ってpipを使用してもよいのですが、似たような質問がないことから他の方はcondaでもtf2.3が動いているみたいです。
+なぜ認識しないのか、後学のためにもご教授いただければと思います。
+もし解決せず、pipを使用することになったとき、pipとcondaが競合した場合、仮想環境を削除して作り直すという認識でよいのでしょうか？

試行錯誤しました。

2021/02/27 23:48

投稿

37458

スコア70

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -96,11 +96,31 @@
 NVIDIドライバ456.71から461.72へ変更しましたが、変化はありませんでした。
+anaconda navigatorからインストールする場合とコンソールからインストールする場合に差があるか確かめるため、conda install tensorflow-gpuで再インストールしましたが、変化はありませんでした。
+cudnnは下記のバージョンを試しましたが、変化はありませんでした。
+7.6.5
+7.6.4
+7.6.0
 ###参考にしたページ
 [ソースからのビルド|TensorFlow(windowsは無し)](https://www.tensorflow.org/install/source#common_installation_problems)
 [cuda-toolkit-release-notes](https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html)

コンソールによる実行結果

2021/02/27 23:05

投稿

37458

スコア70

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -101,3 +101,17 @@
 [ソースからのビルド|TensorFlow(windowsは無し)](https://www.tensorflow.org/install/source#common_installation_problems)
 [cuda-toolkit-release-notes](https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html)
+### 追記
+恥ずかしながら、コンソールではなく、JupyterLabで上記コードを実行しておりました。コンソールから実行した結果、以下のメッセージが得られました。今回の問題に関係しているか私では判断できなかったため、以下に記しておきます。
+```python
+I tensorflow/core/platform/cpu_feature_guard.cc:142] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN)to use the following CPU instructions in performance-critical operations:  AVX AVX2
+To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
+```

GPUの追加

2021/02/27 22:47

投稿

37458

スコア70

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -15,6 +15,8 @@
 conda version 4.9.2
 python3.7.9
+GPU GTX 1070
 NVIDIドライバ 456.71

NVIDIAドライバの更新

2021/02/27 21:48

投稿

37458

スコア70

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -90,6 +90,10 @@
 10.0.130
+NVIDIドライバ456.71から461.72へ変更しましたが、変化はありませんでした。
 ###参考にしたページ
 [ソースからのビルド|TensorFlow(windowsは無し)](https://www.tensorflow.org/install/source#common_installation_problems)

Pythonのバージョンが3.7となっていましたが3.7.9でしたので、編集しました。

2021/02/27 10:56

投稿

37458

スコア70

test CHANGED Viewed

File without changes

test CHANGED Viewed

@@ -14,7 +14,7 @@
 conda version 4.9.2
-python3.7
+python3.7.9
 NVIDIドライバ 456.71