Python3.6 Kerasの可視化をquiver-engineを用いて行いたい

Question

前提・実現したいこと

オライリーの直感deeplerningを読みながらquiver-engineを使用し、localhostでデVGG16モデルの可視化を行おうとしています。

localhost:8000を開くと./sample_images内の画像が表示され画像を選択すると、Select a layerと表示されるのですが選択すべきレイヤーが表示されません。
本来であれば画面左にレイヤーが表示されるはずです。

下記のコードに「コマンドの構文が間違っています」と出ているのはこちらの質問にある通りmkdirコマンドの構文エラーであり./tmpを自作すれば問題ないのかなと思っています(違うかもしれません)。

KerasやTensorFlowについても素人で丸一日この問題が解決できず困っております。
質問も下手くそで恐縮ですが、何卒宜しくお願いします。

該当のソースコード

>>> from keras.applications.vgg16 import VGG16
2021-09-26 20:44:16.997340: W tensorflow/stream_executor/platform/default/dso_loader.cc:59] Could not load dynamic library 'cudart64_101.dll'; dlerror: cudart64_101.dll not found
2021-09-26 20:44:16.997606: I tensorflow/stream_executor/cuda/cudart_stub.cc:29] Ignore above cudart dlerror if you do not have a GPU set up on your machine.
>>> from quiver_engine import server
>>> model = VGG16()
2021-09-26 20:44:25.368588: I tensorflow/stream_executor/platform/default/dso_loader.cc:48] Successfully opened dynamic library nvcuda.dll
2021-09-26 20:44:25.394442: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1716] Found device 0 with properties: 
pciBusID: 0000:01:00.0 name: GeForce GTX 1660 SUPER computeCapability: 7.5
coreClock: 1.8GHz coreCount: 22 deviceMemorySize: 6.00GiB deviceMemoryBandwidth: 312.97GiB/s
2021-09-26 20:44:25.396509: W tensorflow/stream_executor/platform/default/dso_loader.cc:59] Could not load dynamic library 'cudart64_101.dll'; dlerror: cudart64_101.dll not found
2021-09-26 20:44:25.398060: W tensorflow/stream_executor/platform/default/dso_loader.cc:59] Could not load dynamic library 'cublas64_10.dll'; dlerror: cublas64_10.dll not found
2021-09-26 20:44:25.401379: I tensorflow/stream_executor/platform/default/dso_loader.cc:48] Successfully opened dynamic library cufft64_10.dll
2021-09-26 20:44:25.403012: I tensorflow/stream_executor/platform/default/dso_loader.cc:48] Successfully opened dynamic library curand64_10.dll
2021-09-26 20:44:25.410150: I tensorflow/stream_executor/platform/default/dso_loader.cc:48] Successfully opened dynamic library cusolver64_10.dll
2021-09-26 20:44:25.411627: W tensorflow/stream_executor/platform/default/dso_loader.cc:59] Could not load dynamic library 'cusparse64_10.dll'; dlerror: cusparse64_10.dll not found
2021-09-26 20:44:25.413387: W tensorflow/stream_executor/platform/default/dso_loader.cc:59] Could not load dynamic library 'cudnn64_7.dll'; dlerror: cudnn64_7.dll not found
2021-09-26 20:44:25.413726: W tensorflow/core/common_runtime/gpu/gpu_device.cc:1753] Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries for your platform.
Skipping registering GPU devices...
2021-09-26 20:44:25.414365: I tensorflow/core/platform/cpu_feature_guard.cc:142] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN)to use the following CPU instructions in performance-critical operations:  AVX2
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
2021-09-26 20:44:25.421323: I tensorflow/compiler/xla/service/service.cc:168] XLA service 0x1e0c58bc420 initialized for platform Host (this does not guarantee that XLA will be used). Devices:
2021-09-26 20:44:25.421614: I tensorflow/compiler/xla/service/service.cc:176]   StreamExecutor device (0): Host, Default Version
2021-09-26 20:44:25.422078: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1257] Device interconnect StreamExecutor with strength 1 edge matrix:
2021-09-26 20:44:25.422365: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1263]
>>> server.launch(model, input_folder='./sample_images', temp_folder='./tmp', port=8000)
コマンドの構文が誤っています。
Starting webserver from: C:\Users\kubo\anaconda3\envs\python_for_ch02\lib\site-packages\quiver_engine
::1 - - [2021-09-26 20:44:30] "GET / HTTP/1.1" 304 173 0.001026
::1 - - [2021-09-26 20:44:30] "GET /app.c1d3d21cfba8c1aabed6806773c8f0ba.css HTTP/1.1" 304 203 0.000997
::1 - - [2021-09-26 20:44:30] "GET /vendor.280c5ce1d78077ee8d66.js HTTP/1.1" 304 193 0.000998
::1 - - [2021-09-26 20:44:30] "GET /app.14b8092d6ea379715007.js HTTP/1.1" 304 190 0.000997
::1 - - [2021-09-26 20:44:30] "GET /model HTTP/1.1" 200 10742 0.006952
::1 - - [2021-09-26 20:44:30] "GET /inputs HTTP/1.1" 200 162 0.000000
::1 - - [2021-09-26 20:44:30] "GET /input-file/cat.png HTTP/1.1" 304 170 0.000997
::1 - - [2021-09-26 20:44:30] "GET /input-file/dog.png HTTP/1.1" 304 170 0.000998

補足情報（FW/ツールのバージョンなど）

環境:Windows10
Python3.6
Anaconda3で仮想環境を作成し、パッケージのインストールはpip install -r requirements-windows.txtで行いました。

keras==2.4.3
tensorflow==2.3.0
gevent==21.8.0
git+https://github.com/SnowMasaya/quiver
h5py==2.10.0

試したこと

ここに至るまでにいくつかエラーが発生したためquiver_engineに手を加えています。

server.py

こちらを参考に変更を加えました。

# from gevent.wsgi import WSGIServer
from gevent.pywsgi import WSGIServer

file_utils.py

こちらを参考に変更を加えました。

# from imageio import imwrite
# ...
#     imsave(filename, deprocess_image(layer_outputs))

import imageio
...
    imageio.imwrite(filename, deprocess_image(layer_outputs))

util.py

こちらを参考に変更を加えました。

def get_input_config(model):
    '''
        returns a tuple (inputDimensions, numChannels)
    '''
    # return (
    #     model.get_input_shape_at(0)[2:4],
    #     model.get_input_shape_at(0)[1]
    # ) if K.image_data_format() == 'th' else (
    #     # ) if K.image_dim_ordering() == 'th' else (
    #     #tf ordering
    #     model.get_input_shape_at(0)[1:3],
    #     model.get_input_shape_at(0)[3]
    # )
    return (
        model.get_config(0),
        model.get_config(0)
    ) if K.image_data_format() == 'th' else (
        #tf ordering
        model.get_layer(index=0).get_config(),
        model.get_layer(index=0).get_config()
    )

Comments

[jbpb0]

> パッケージのインストールはpip install -r requirements-windows.txtで行いました。

https://github.com/oreilly-japan/deep-learning-with-keras-ja/blob/master/ch02/requirements-windows.txt
に書かれてるのと全然バージョンが違いますけど、「requirements-windows.txt」はこれとは別のものでしょうか？

[kubo1216]

ご指摘ありがとうございます。
そちらのファイルで間違いありません。
恥ずかしながら試行錯誤中にバージョンを書き換え、そのまま戻し忘れたうえ書き換えたことすら忘れていたのだと思います。
正しいバージョンに戻していくつか修正を行ったところ動作するようになりました。

質問を閉じるため回答していただけないでしょうか。

Answer 1

質問者さんが使ってる
version="0.1.4.1.4"
よりも新しそうな
version="0.1.4.1.5"
の
Quiver
をダウンロードして、コードを修正したら、当方のMac, Win 10のPythonで動きました

環境
Python 3.7
tensorflow 1.15.3
Keras 2.3.1

下記を修正しました

「file_utils.py」

from scipy.misc import imsave

↓ 変更

import imageio

　.

    imsave(filename, deprocess_image(layer_outputs))

↓ 変更

    imageio.imwrite(filename, deprocess_image(layer_outputs))

　
「imagenet_utils.py」

        dim_ordering = K.image_dim_ordering()
    assert dim_ordering in {'tf', 'th'}

↓ 変更

        dim_ordering = K.image_data_format()
    assert dim_ordering in {'channels_last', 'channel_first'}

　.

        if dim_ordering == 'th':

↓ 変更

        if dim_ordering == 'channel_first':

　
「layer_result_generators.py」

        input=model.input,
        output=model.get_layer(layer_name).output

↓ 変更

        inputs=model.input,
        outputs=model.get_layer(layer_name).output

　
「util.py」

    return (
        model.get_input_shape_at(0)[2:4],
        model.get_input_shape_at(0)[1]
    ) if K.image_dim_ordering() == 'th' else (
        #tf ordering
        model.get_input_shape_at(0)[1:3],
        model.get_input_shape_at(0)[3]
    )

↓ 変更

    return (
        model.get_layer(index=0).get_config()["batch_input_shape"][0:3],
        model.get_layer(index=0).get_config()["batch_input_shape"][3]
    ) if K.image_data_format() == 'channel_first' else (
        #tf ordering
        model.get_layer(index=0).get_config()["batch_input_shape"][0:3],
        model.get_layer(index=0).get_config()["batch_input_shape"][3]
    )

　.

        image.img_to_array(image.load_img(input_path, target_size=target_shape, grayscale=grayscale)) / 255.0,

↓ 変更

        image.img_to_array(image.load_img(input_path, target_size=(target_shape[1], target_shape[2]), grayscale=grayscale)) / 255.0,

　.

    img = image.load_img(input_path, target_size=target_shape,

↓ 変更

    img = image.load_img(input_path, target_size=(target_shape[1], target_shape[2]),

Comments

[jbpb0]

上記に加え、さらに

keras
↓ 変更
tensorflow.keras

import tensorflow as tf
↓ 変更
import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()

を修正して、tensorflow 2.3で実行したら、質問の現象が再現しましたので、原因はtensorflow 1と2の違いによるものだと思います

[kubo1216]

原因のと特定までしていただきありがとうございます。
私の方でも上記のバージョンでも試してみようと思います。
今後ともよろしくおねがいします。