多クラス分類の予測結果画像の表示方法について

Question

現在chainerでセマンティックセグメンテーション(3クラス分類)を行っています．
学習済みモデルで予測した画像の表示方法が分からず困っています．
このサイトを参考にコードを書いてみたのですが画像が表示されません．コードとエラーは以下の通りです．
モデルに代入しているimgは３チャンネルのカラー画像です．
ネットワークの最終層の出力にはrelu関数を使用して，ネットワーク全体ではUNETを構築しています．
分かる方いらっしゃいましたらご教授願います．
宜しくお願い致します．．

def show_predicts(trainer, val, n_sample=2):
    #学習した結果を表示する
    model = trainer.updater.get_optimizer('main').target.predictor
    for i in range(n_sample):
        img, label = val[i]
        pred = model(img[np.newaxis])
        fig, axes = plt.subplots(1, 2)

        print('pred_info', type(pred), pred.dtype, pred.shape)
　　#pred_info <class 'chainer.variable.Variable'> float32 (1, 3, 512, 512)
        print('label_info', type(label), label.dtype, label.shape)
　　#label_info <class 'numpy.ndarray'> int32 (512, 512)

　　#ラベル画像のみでしたら表示できたのでimshow(pred)が原因だと思います．
        axes[0].set_axis_off()
        axes[0].imshow(pred)

        axes[1].set_axis_off()
        axes[1].imshow(label)

        plt.show()

TypeError: Image data cannot be converted to float

Answer 1

predict[x, y, z].dataでvariable型からfloatに変換することで画像として表示することが出来ました．

def predictdata_convert_to_image(predict, n_class, width, height):
    """予測結果(variable)を画像に変換する"""
    pred_float = np.zeros(((n_class, width, height)))
    for x_coordinate in range(width):
        for y_coordinate in range(height):
            pred_float[0, x_coordinate, y_coordinate] = predict[0, x_coordinate, y_coordinate].data
            pred_float[1, x_coordinate, y_coordinate] = predict[1, x_coordinate, y_coordinate].data
            pred_float[2, x_coordinate, y_coordinate] = predict[2, x_coordinate, y_coordinate].data

    predictimage = np.argmax(pred_float, axis=0)
    predictimage = predictimage.astype(np.int32)
    return predictimage

ただ，for文を回しているので処理速度が遅くなってしまいました．
for文ではなく，一括でvariableからfloatに変換できる方法が有ればコメントお願いします．

Answer 2

私の環境にもchainerが入ってなくて、おそらくとしか言いようがありませんが、
pred = pred.data[0, 0] > 0
のように書き換えれば良いのではないかと思います。

多分、
pred.data[0, 0] > 0
の部分で、pred.data[0,0]の各要素が0より大きいかどうかのarrayをつくっていて、
cuda.to_cpuでndarrayに変換しているのかと思います、、
cuda.to_cpuは検索したら、どういう関数かすぐ見つかると思います。

Answer 3

画像で表示するなら、dtypeをuint8にする必要があるでしょう。
値の範囲も0-255に収まっているか確認した方が良いかもしれません。

Comments

[rk2]

どのように整数に変換すればいいのでしょうか？
確認したところ，predの要素は以下の様になっていました．
例 pred[0,0,0]=variable(0.99387)　※次元の大きさが1の次元はnp.sqeezeで消去しました．
以上のような要素の中身がvariableになっているものを一括で整数に変換することは可能でしょうか？

[daesaka]

どういう可視化をしたいのかよくわかりませんが、
https://japan-medical-ai.github.io/medical-ai-course-materials/notebooks/Image_Segmentation.html
のIn [14]:を参考に変換してみてください。

[rk2]

返信ありがとうございます．
pred = cuda.to_cpu(pred.data[0, 0] > 0)
の処理がよくわからずにいます．
私の所持しているpcにはGPUがないのでCUDAのインストールなどはしておらず上記のコードをどのように書き換えれば良いのかわからない状態です．
もしお時間ありましたら上記のコードがどういった処理をしているのかお教えいただけないでしょうか？