ROCの実装についての質問

Question

DenseNet-121を学んでいます。

ROCを実装して可視化を行いたいのですが、
どうすればよいでしょうか？

import os
from glob import glob
# import imageio
from PIL import Image
import cv2
import numpy as np
import matplotlib.pyplot as plt

import keras
from keras.applications.densenet import DenseNet121
from keras.applications.densenet import preprocess_input
from keras.models import Sequential, Model, load_model
from keras.layers import Dense, BatchNormalization, GlobalAveragePooling2D, Conv2D, Flatten
from keras.optimizers import Adam
from keras.preprocessing.image import ImageDataGenerator
from keras.callbacks import EarlyStopping, ModelCheckpoint

from sklearn.metrics import confusion_matrix
from sklearn.metrics import classification_report
from sklearn.model_selection import train_test_split

import math
from keras.utils import Sequence, np_utils


# モデルを編集し、ネットワークを構築する関数
# -----------------------------------------------------
def build_model(base_model):
    x = base_model.output

    # 追加する出力部分の層を構築
    x = Flatten()(x)
    x = Dense(1024, activation='relu')(x)
    output = Dense(1, activation='sigmoid')(x)  # 2値分類なので出力層は1, sigmoidで確率を求める
    return Model(inputs=base_model.input, outputs=output)


# ----------------------------------------
# テスト画像での精度評価
# ----------------------------------------
def test_img_prediction(valid_generator, test_batch_size):
    # テスト画像での推測
    true_label = []
    pred_label = []
    for i, (x, y) in enumerate(valid_generator):
#         print(x, y)
        true_label.extend(y)
        prediction = model.predict(x, verbose=2)
        print(prediction[0])
        pred_label.extend(np.round(prediction[0]))
        # ジェネレータは無限ループするので、全部取得したら止める
        if (i+1) >= (len(valid_generator) / test_batch_size):
            break
    print('true: ', len(true_label), 'pred: ', len(pred_label))
    return true_label, pred_label


# --------------------------------------------
# Confusion Matrixの生成
# --------------------------------------------
def show_report(true_label, pred_label):
    cm = confusion_matrix(true_label, pred_label)
    print('\n----------------- Confusion Matrix -----------------\n', cm)
    cr = classification_report(true_label, pred_label)
    print('\n----------------- Classification Report -----------------\n', cr)


# ---------------------------------------
# 学習の可視化する関数
# ---------------------------------------
def show_train_history(history, epochs):
    acc = history.history['acc']
    val_acc = history.history['val_acc']

    loss = history.history['loss']
    val_loss = history.history['val_loss']

    epochs_range = range(epochs)

    plt.figure(figsize=(14, 5))
    plt.subplot(1, 2, 1)
    plt.plot(epochs_range, acc, label='Training Accuracy')
    plt.plot(epochs_range, val_acc, label='Validation Accuracy')
    plt.legend(loc='best')
    plt.title('Training and Validation Accuracy')

    plt.subplot(1, 2, 2)
    plt.plot(epochs_range, loss, label='Training Loss')
    plt.plot(epochs_range, val_loss, label='Validation Loss')
    plt.legend(loc='upper right')
    plt.title('Training and Validation Loss')
    # plt.savefig('CT_classification.png')
    plt.show()
    plt.close()


# -----------------------------------------------------

# ----------------------------------
# 各パラメータの設定
# ----------------------------------
# n_classes = 3  # 分類するクラス数
epochs = 10  # 学習のエポック数
batch_size = 32  # 訓練時のバッチサイズ
test_batch_size = 1  # テスト時のバッチサイズ(全テスト画像数で割り切れる値にする)
height, width = 277, 277  # 入力画像のサイズ

# データの読み込み
train_data = np.load('/home/dl_box85/dataset/npy/train_data.npy')
train_label = np.load('/home/dl_box85/dataset/npy/train_label.npy')
test_data = np.load('/home/dl_box85/dataset/npy/test_data.npy')
test_label = np.load('/home/dl_box85/dataset/npy/test_label.npy')

print(test_label)
print(train_label)


# データのトランスポーズ
train_data = np.transpose(train_data, (3,1,2,0))
test_data = np.transpose(test_data, (3,1,2,0))

print(train_data.shape)

# -------------------------------------------
# 画像を読み込むジェネレータの作成
# -------------------------------------------
# ジェネレータの作成
idg = ImageDataGenerator(validation_split=0.25)
idg_test = ImageDataGenerator()

# 適用
idg.fit(train_data)





# 画像をロードするイテレータを生成
# 訓練用データ
img_itr_train = idg.flow(
    train_data,
    y=train_label,
    batch_size=16,
    shuffle=True,
    subset='training'
)
# 検証用データ
img_itr_validation = idg.flow(
    train_data,
    y=train_label,
    batch_size=16,
    shuffle=True,
    subset='validation'
)
# テスト用データ
img_itr_test = idg_test.flow(
    test_data,
    y=test_label,
    batch_size=1,
)


# ----------------------------------
# DenseNet121のモデルを構築
# ----------------------------------
# DenseNet121のモデルをロード
densenet121 = DenseNet121(weights=None, include_top=False, input_shape=(277, 277, 3))  # 適切に変更
# モデルの構築
model = build_model(densenet121)
model.compile(
    loss='binary_crossentropy',
    optimizer=Adam(lr=1e-4),
    metrics=['accuracy']
)
# model.summary()


# ----------------------------------
# モデルの学習
# ----------------------------------
# コールバックの設定
es_cb = EarlyStopping(monitor='loss', min_delta=1e-4, patience=1, verbose=1, mode='auto')
history = model.fit_generator(
    img_itr_train,
    steps_per_epoch=math.ceil(train_data.shape[0]/batch_size),
    epochs=epochs
#     batch_size=batch_size,
#     epochs=epochs,
#     validation_split=0.2,
#     steps_per_epoch=math.ceil(img_itr_train.n/batch_size),
#     epochs=epochs,
#     validation_data=img_itr_validation,
#     validation_steps=math.ceil(img_itr_validation.n/test_batch_size)
#     # callbacks=[es_cb]
 )


# ------------------------------------
# 学習の様子を可視化
# ------------------------------------
#show_train_history(history, epochs)

# ----------------------------------------
# テスト画像での精度評価
# ----------------------------------------
print('test data')
true_label, pred_label = test_img_prediction(img_itr_test, 1)
print(true_label, pred_label)
show_report(true_label, pred_label)

Comments

[aokikenichi]

Python ROC
あたりで検索すると多数コード付きの記事が出てきますがそれらを調べた上でのご質問でしょうか
であれば、どの記事を参考にして、同トライしたが、エラーが出たり想定通りのアウトプットとなっていないなどの情報を追記いただけると適した回答が得られやすくなります。

Answer 1

https://teratail.com/questions/179006
このページが役立ちそうです。