Tensorflow : ImportError: DLL load failed: 指定されたモジュールが見つかりません。

Question

python(ver.3.6.8)をjupyter notebookで使用してTensorflowを動かしていました。
転移学習と微調整の「$pip install -q tf-nightly」をインストールしたところ、
今まで動いていたプログラムがまわらなくなってしまいました。
どなたかアドバイスをお願いしてもよろしいでしょうか。

import tensorflow as tf

上記を実行した時のエラーメッセージは以下のとおりです。

ImportError Traceback (most recent call last)
c:\python\lib\site-packages\tensorflow\python\pywrap_tensorflow.py in <module>
63 try:
---> 64 from tensorflow.python._pywrap_tensorflow_internal import *
65 # This try catch logic is because there is no bazel equivalent for py_extension.

ImportError: DLL load failed: 指定されたモジュールが見つかりません。

During handling of the above exception, another exception occurred:

「!pip list」でバージョンを確認すると以下でした。
sklearn 0.0
soupsieve 1.9.5
statsmodels 0.10.2
tb-nightly 2.4.0a20200820
tensorboard 2.0.2
tensorboard-plugin-wit 1.7.0
tensorflow 2.0.0
tensorflow-datasets 2.0.0
tensorflow-estimator 2.0.1
tensorflow-estimator-2.0-preview 2.0.0
tensorflow-gpu 2.0.0
tensorflow-hub 0.7.0
tensorflow-metadata 0.21.1
termcolor 1.1.0
terminado 0.8.3
testpath 0.4.4
tf 1.0.0
tf-estimator-nightly 2.4.0.dev2020082001
tf-hub-nightly 0.8.0.dev202001140005
tf-nightly 2.4.0.dev20200820
tf-nightly-2.0-preview 2.0.0.dev20191002

Answer 1

複数のバージョンが混在して環境的に整合がとれていない状況になっているように見えます。一度下記のようにTensorflow環境をリフレッシュしてから、もう一度 pip install tf-nightly を実施してみてください。既存環境に tf-nightly を導入すると発生する事象です。

!pip uninstall tensorboard-plugin-wit tb-nightly \
               tf-estimator-nightly tensorflow-gpu \
               tensorflow tf-nightly tensorflow_estimator \
               tf-nightly-2.0-preview tensorflow-estimator-2.0-preview \
               tensorboard tensorflow tf tensorflow-datasets \
               tensorflow-hub tensorflow-metadata tf-hub-nightly

!pip install tf-nightly

Comments

[51sep]

ご回答をありがとうございます！
早速試してみましたが、最初の「pip! uninstall ...」でIN [*]のまま動かなくなってしまいました。30分以上。
実は、ご回答が来る前に、以下のプログラムを実行しました。
自分でも「!pip uninstall tf-nightly」と書いてみたのですが、30分以上IN[*]のまま動かず、そのまま閉じてしまいました。
以下のpipのupgradeで何か影響があったのでしょうか。または、他の方法がありますでしょうか。もしよろしければご助言いただると嬉しいです。

pip install --upgrade pip

---メッセージ---
Collecting pip
Downloading pip-20.2.2-py2.py3-none-any.whl (1.5 MB)
Installing collected packages: pip
Attempting uninstall: pip
Found existing installation: pip 20.2.1
Uninstalling pip-20.2.1:
Successfully uninstalled pip-20.2.1
Successfully installed pip-20.2.2
Note: you may need to restart the kernel to use updated packages.

[PINTO]

一度閉じた、ということですので関係ないかもしれませんが、念の為カーネルをリスタートしてみても状況は変わりませんか？

[51sep]

はい。。何度かやってみましたが、やっぱりIN[*]のままです。

今までの実行は以下な感じです。
pip install -q tf-nightly
で今までのプログラムがまわらなくなり、どなたかのサイトを見て、インストールし直そうと、
pip install -U numpy scipy scikit-learn tf
を実行し、でも、今までのプログラムがまわらなかったので、
pip install --upgrade tensorflow==2.0.0
でバージョンをいじってみても状況変わらず、
pip install --upgrade pip
など、色々と実行してしまいました。（上記の順番が前後しているかもしれませんし、何度か同じ処理を繰り返したところもあります）

この質問の内容は、上記をやってしまった結果のログです。もう少し調べてから実行すればよかったです。。

[PINTO]

`-q` オプションを付けずにエラーをそのまま表示するようにすると何か表示されますか？ pip の不具合は良くありますが、試して見るならバージョン指定でダウングレードしてみることもできます。 例： `pip install pip==19.1.1`

[51sep]

ご回答をありがとうございます。
以下を試してみました。
「pip install pip==20.2.1」と書いて、前のバージョンに戻したあと、
「pip install tf-nightly」と書いて実行してみました（`-q` をとった）
以下、赤い枠でメッセージが出てきました。（incompatibleの文字が、、）
現状、やっぱり今までのプログラムはまわりませんし、uninstallもできません。困りました。。

ERROR: After October 2020 you may experience errors when installing or updating packages. This is because pip will change the way that it resolves dependency conflicts.

We recommend you use --use-feature=2020-resolver to test your packages with the new resolver before it becomes the default.

-ensorflow-gpu 1.15.2 requires gast==0.2.2, but you'll have gast 0.3.3 which is incompatible.
-ensorflow-gpu 1.15.2 requires tensorboard<1.16.0,>=1.15.0, but you'll have tensorboard 2.0.2 which is incompatible.
-ensorflow-gpu 1.15.2 requires tensorflow-estimator==1.15.1, but you'll have tensorflow-estimator 2.0.1 which is incompatible.
tf-nightly-2-0-preview 2.0.0.dev20191002 requires gast==0.2.2, but you'll have gast 0.3.3 which is incompatible.
tf-nightly-2-0-preview 2.0.0.dev20191002 requires tb-nightly<2.2.0a0,>=2.1.0a0, but you'll have tb-nightly 2.4.0a20200820 which is incompatible.
tensorflow 2.0.0 requires gast==0.2.2, but you'll have gast 0.3.3 which is incompatible.
tensorflow-gpu 2.0.0 requires gast==0.2.2, but you'll have gast 0.3.3 which is incompatible.
WARNING: You are using pip version 20.2.1; however, version 20.2.2 is available.
You should consider upgrading via the 'c:\python\python.exe -m pip install --upgrade pip' command.

[51sep]

あれから「!pip install gast==0.2.2」を実行してみました。
やっぱり現状変わらず。
アンインストールもできず、今までのプログラムもまわらず、、
pythonをインストールし直し？しかないのでしょうか。。

[PINTO]

私なら Jupyter 上からではなく、 コマンドラインから uninstall を試行してみます。 anaconda などを利用されている場合はそもそも pip を使用すべきではありませんので、 環境によっては対応が多少変わりますね。

[51sep]

コメントありがとうございます。
コマンドで実行できました。ご助言、大変感謝しています。
現状、今までのプログラムが実行できる状態まで戻りました。
ただし、「import tensorflow as tf」で、以下のようなErrorが出てしまいます。

WARNING:root:Limited tf.compat.v2.summary API due to missing TensorBoard installation.
WARNING:root:Limited tf.compat.v2.summary API due to missing TensorBoard installation.
WARNING:root:Limited tf.summary API due to missing TensorBoard installation.

なお、最初のコメントのとおり、全てアンインストールして、tf-nightlyを再インストールしたところ、やっぱり実行できなくなりました。
現状、再度全てアンインストールし、tensorflow2.0.0でtf-nightlyは再インストールしていない状態です。

アップデートや公式サイトのプログラムで、こんなに不安定になってしまうなんて、私のような素人にはツライ…が正直な感想です。。

[PINTO]

良かったです。 いまだにエラーが発生する件は、私が最初に提示した uninstall 対象以外のものもひととおり直接 uninstall したほうが良いのかもしれません。 普通はpipが自動的に依存関係を解消してくれますが、 preview版やメジャーバージョンが異なるバージョン間の移行の場合はうまくいかないことが多いです。 消えるべきものが消えなかったりします。 ちなみに私は毎日 Tensorflow v1.15.2 と Tensorflow v2.3.0 と tf-nightly を入れ替えまくって利用しています。 少々特殊な作業を趣味としていますので。

[PINTO]

補足です。パッケージ名の頭にtensorやtfと付いているものも全て消した方が良いと思います。

[51sep]

週末の作業が「現状回復」になってしまいましたが、大変勉強になりました。
どうもありがとうございました。

どのソフトも新しいパッケージやアップデートは互換性がとれないことが多いので、注意しなければいけないと思いつつ、「公式サイト」は大丈夫だろうと思ってしまったところが甘かったです。おそらく、これからもこういう問題は起きそうです。
PINTOさんは、毎回入れ替えて利用されているということで、そういうケースもあるということも頭の片隅に入れて、試してみたいと思います。

[51sep]

すみません、補足、今読みました。「パッケージ名の頭にtensorやtfと付いているものも全て消す」は、アンインストール？しておいた方がいいということ？でしょうか。

[PINTO]

はい。そのとおりです。さきほど回答欄のコマンドを修正しました。

[51sep]

ご助言、どうもありがとうございます。本当に助かりました。