plot_modelのインポートエラー (TensorFlow 2.x使用)

Question

前提・実現したいこと

plot_modelを使ってkerasのモデルを可視化したい。
※GPUの要件から、Python 3.8 および TensorFlow-GPU 2.4.0の使用を前提とします

ソースコード・エラー内容

tf.keras の plot_modelを呼び出すと、下記のようにImportErrorが発生します。
pydotの代わりにpydotplus/pydot_ng/pydot3のインストールを試してみましたが、エラー内容は変わらず。
解決策についてご教示いただけますと幸いです。

# from tensorflow.keras.utils import plot_model                   # 確認用（結果は変わらず）
from tensorflow.python.keras.utils.vis_utils import plot_model    # 

plot_model(
    model,
    show_shapes=True,
)

Traceback (most recent call last):
  File "plot_model.py", line 21, in <module>
    plot_model(
  File "C:\Anaconda3\envs\gpu38b\lib\site-packages\tensorflow\python\keras\utils\vis_utils.py", line 324, in plot_model
    dot = model_to_dot(
  File "C:\Anaconda3\envs\gpu38b\lib\site-packages\tensorflow\python\keras\utils\vis_utils.py", line 116, in model_to_dot
    raise ImportError(message)
ImportError: ('Failed to import pydot. You must `pip install pydot` and install graphviz (https://graphviz.gitlab.io/download/), ', 'for `pydotprint` to work.')

試したこと

初めに、import文のフォーマットに誤りがないかを確認しました。(参考①)

次に、pydot, pydotplus, pydot_ng, pydot3のインストール/アンインストールを下記A~Cのパターンで試しましたが、いずれのパターンでも同じImportErrorが出力されました。

A. pydot, pydotplus, graphvizの順でpip install(参考②)
B. pydotの代わりに（pydotをアンインストールして）pydotplus/pydot_ngを単体で使用(参考③)
C. pydotの代わりに（pydotをアンインストールして）pydot3を使用(参考④)

環境

Windows10
Anaconda3
Python 3.8.11
TensorFlow-GPU 2.4.0
Graphviz 2.49.0 インストール/PATH設定済み

Package                 Version
----------------------- -------------------
absl-py                 0.13.0
astunparse              1.6.3
cachetools              4.2.2
certifi                 2021.5.30
charset-normalizer      2.0.4
clang                   5.0
cloudpickle             1.6.0
cycler                  0.10.0
flatbuffers             1.12
gast                    0.3.3
google-auth             1.35.0
google-auth-oauthlib    0.4.6
google-pasta            0.2.0
graphviz                0.17
grpcio                  1.32.0
gym                     0.19.0
gym-ple                 0.3
h5py                    2.10.0
idna                    3.2
keras                   2.6.0
Keras-Preprocessing     1.1.2
keras-rl2               1.0.5
kiwisolver              1.3.2
Markdown                3.3.4
matplotlib              3.4.3
numpy                   1.19.5
oauthlib                3.1.1
opt-einsum              3.3.0
Pillow                  8.3.1
pip                     21.0.1
protobuf                3.17.3
pyasn1                  0.4.8
pyasn1-modules          0.2.8
pydot                   1.4.2
pydotplus               2.0.2
pyglet                  1.5.19
pyparsing               2.4.7
python-dateutil         2.8.2
requests                2.26.0
requests-oauthlib       1.3.0
rsa                     4.7.2
setuptools              52.0.0.post20210125
six                     1.15.0
tensorboard             2.6.0
tensorboard-data-server 0.6.1
tensorboard-plugin-wit  1.8.0
tensorflow-estimator    2.4.0
tensorflow-gpu          2.4.0
termcolor               1.1.0
typing-extensions       3.7.4.3
urllib3                 1.26.6
Werkzeug                2.0.1
wheel                   0.37.0
wincertstore            0.2
wrapt                   1.12.1

Comments

[jbpb0]

Pythonで、下記は実行できますか？

import pydot_ng
import pydotplus
import pydot
import graphviz

試すのは、現在入ってる(はずの)ものだけでいいです

[hkg]

確認が遅くなり失礼しました。
下記、今入っている3つを確認しましたが問題なくimportできているようです。

>>> import pydot
>>>
>>> import pydotplus
>>>
>>> import graphviz
>>>

[jbpb0]

> TensorFlow-GPU 2.4.0

https://github.com/tensorflow/tensorflow/blob/v2.4.0/tensorflow/python/keras/utils/vis_utils.py
を参照しながら、エラーを追いかけてみます

324行めの「dot = model_to_dot(...」を実行しようとしてるところでエラーが出てます

「model_to_dot()」の定義は70行目にあり、105行目の「if not check_pydot():」に引っかかって、107行目からのメッセージが表示されてます

「check_pydot()」の定義は44行目にあり、46行目の「if pydot is None:」に引っかかると「False」が返り、上記の「model_to_dot()」での現象になります

「pydot is None」になるのは、29行目からの処理で
import pydot_ng as pydot
import pydotplus as pydot
import pydot
が全部失敗した場合です

> 今入っている3つを確認しましたが問題なくimportできているようです。
>>> import pydot
>>>
>>> import pydotplus
>>>
>>> import graphviz
>>>

ならば、「import pydotplus as pydot」が成功して、「pydot is None」にはならないはずなのです

[jbpb0]

C:\Anaconda3\envs\gpu38b\lib\site-packages\tensorflow\python\keras\utils\vis_utils.py

を、今作業している(自分で書いたPythonコードのファイルがある)場所にコピーして、それの42行目に

print(pydot)

を追加(行頭インデントは無し)して、

from vis_utils import plot_model

を実行したら、どうなりますでしょうか？

<module 'pydotplus' from...

みたいに表示されたなら、「import pydotplus as pydot」が正常に実行されてます
(質問に記載のエラーは表示されるかもしれませんが、それ以外に上記が表示されるか？)

[hkg]

ご確認ありがとうございます。
コメントいただいた通り、importが成功しているのに「if pydot is None:」の条件分岐に引っかかってしまっているようです…。

追加コメントいただいた点を試してみました。

>>> from vis_utils import plot_model
2021-09-03 10:33:31.516521: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library cudart64_110.dll
<module 'pydotplus' from 'C:\\Anaconda3\\envs\\gpu38b\\lib\\site-packages\\pydotplus\\__init__.py'>
>>>

[jbpb0]

> <module 'pydotplus' from...

と表示されてるので、「import pydotplus as pydot」は大丈夫ですね

それでしたら、Pythonで下記のみ実行してみてください

import pydotplus as pydot
pydot.Dot.create(pydot.Dot())

上記を実行したら、正常な場合は、
「b"%!PS-Adobe-3.0\n%%Creator: graphviz version...」
みたいなので始まり、
「\n%%EOF\n"」
みたいなので終わるような、非常に長い文字列が表示されます
当方のMacのターミナルで実行した場合は、ターミナルの横幅サイズは標準のままで、54行とちょっとになりました
Windowsのコマンドプロンプトだと、表示行数は変わるかもしれませんが、それでもかなり長めに表示されると思います

もし、それがうまくいかないと、
https://github.com/tensorflow/tensorflow/blob/v2.4.0/tensorflow/python/keras/utils/vis_utils.py
の51行目の実行に失敗して、「check_pydot()」から「False」が返ると思います

【追記】
Windowsのコマンドプロンプト(フォントや表示幅は標準)で

import pydotplus as pydot
pydot.Dot.create(pydot.Dot())

を実行したところ、39.5行になりました
graphvizとかのバージョンによって表示される文字列の長さが変わるかもしれないので、表示行数は変わるかもしれません
長々と文字が表示されるかと、文字列の最初や最後がだいたい合ってるかを確認してみてください

[hkg]

早々にご確認いただきありがとうございます。
pydot.Dot.create という工程が上手くいっていない模様です。Graphvizあたりに原因がありそうでしょうか…？

>>> import pydotplus as pydot
>>>
>>> pydot.Dot.create(pydot.Dot())
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "C:\Anaconda3\envs\gpu38b\lib\site-packages\pydotplus\graphviz.py", line 1959, in create
raise InvocationException(
pydotplus.graphviz.InvocationException: GraphViz's executables not found
>>>

[jbpb0]

> GraphViz's executables not found

なので、

> Graphviz 2.49.0 インストール/PATH設定済み

がうまくいってないような

pythonでgraphvizを使う例をググって探して、それが実行できるか確認してみてください
もしうまく実行できないなら、それが実行できるように環境を整えてください

[hkg]

graphvizのインストレーションについて再度確認し、PC再起動を実施したところ事象が解消されました。
丁寧にご助言いただき誠にありがとうございました。

Answer 1

jbpb0 様のご助言にしたがい切り分けを実施したところ、pydot側がGraphvizを認識できていないことが分かり、PC再起動により事象が解決できました。

Answer 2

ImportError: ('Failed to import pydot. You must `pip install pydot` and install graphviz (https://graphviz.gitlab.io/download/), ', 'for `pydotprint` to work.')

をGoogle翻訳すると以下です。

ImportError ：（ 'pydotのインポートに失敗しました。`pydotprint`を機能させるには、 `pip install pydot`とgraphviz（https://graphviz.gitlab.io/download/）、'、 'をインストールする必要があります。'）

pip install pydot を実行しなさい。
https://graphviz.gitlab.io/download/ からgraphviz をインストールしなさい。

とのことですので、それを行いましょう。

Comments

[hkg]

コメントありがとうございます。
「試したこと」欄に記載してある通り、pydot, graphvizをインストールした上でのご質問となります。