何故AttributeErrorが発生するのか

Question

#前提・実現したいこと
GitHub WeaklyAnomalyDetection
上記サイト様のコードを参考にPythonを用いて、自前のデータセットでの異常検知をしたいと考えております。

#発生している問題・エラーメッセージ

---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-10-7bfdc75aa020> in <module>
      1 #　普通の異常検知
      2 for i in range(2):
----> 3     train_and_evaluate(i+1, False)
      4 
      5 #　弱異常検知

<ipython-input-9-6e38c831f860> in train_and_evaluate(number, anomaly)
     61     test_b = model.predict(X_test_b, batch_size=1)
     62 
---> 63     train = train.reshape((len(train),-1))
     64     test_c = test_s.reshape((len(X_test_c),-1))
     65     test_b = test_b.reshape((len(X_test_b),-1))

AttributeError: 'list' object has no attribute 'reshape'

#コード
異常検知のコード（自前のデータセットのコードは文字数の関係上、省略をさせていただきます）

import matplotlib.pyplot as plt
import os
import cv2
import random
import numpy as np
from keras.utils import to_categorical
from keras.preprocessing.image import ImageDataGenerator

from b_c_dataset import BCN_Dataset

bell = 0#bellは0
call = 1#callは1

# dataset
(x_train, y_train), (x_test, y_test) = BCN_Dataset.create_bcn()

x_train = x_train.reshape(x_train.shape[0], 583, 438, 3)
x_test = x_test.reshape(x_test.shape[0], 583, 438, 3)

x_train = x_train.astype('float32') / 255
x_test = x_test.astype('float32') / 255

#学習データ
x_train_sum, x_train_c, x_train_b, x_test_c, x_test_b = [], [], [], [], []
y_train_sum = []

for i in range(len(x_train)):
    if y_train[i] == bell:
        x_train_b.append(x_train[i])
    elif y_train[i] == call:
        x_train_c.append(x_train[i])
    else:
        x_train_sum.append(x_train[i])
        y_train_sum.append(y_train[i])

x_train_sum = np.array(x_train_sum)
x_train_b = np.array(x_train_b)
x_train_c = np.array(x_train_c)
        
#trainデータからランダムに10個抽出
number = np.random.choice(np.arange(0,x_train_sum.shape[0]),10,replace=False)

x, y = [], []

for i in number:
    x.append(x_train_sum[i])
    y.append(y_train_sum[i])
    
x_train_sum = np.array(x)
y_train_sum = np.array(y)

#callデータからランダムに10個抽出
number = np.random.choice(np.arange(0,x_train_c.shape[0]),10,replace=False)

x, y = [], []

for i in number:
    x.append(x_train_c[i])

#データ結合
x_train_sum = np.vstack((x_train_sum, np.array(x)))
y_train_sum = np.hstack((y_train_sum, call*np.ones(10)))

#bellデータからランダムに10個抽出
number = np.random.choice(np.arange(0,x_train_b.shape[0]),10,replace=False)

x, y = [], []

for i in number:
    x.append(x_train_b[i])
    
# Data Augmentation
datagen = ImageDataGenerator(rotation_range=10,
                             width_shift_range=0.1,
                             height_shift_range=0.1,
                             horizontal_flip=False)
img = []

for d in datagen.flow(np.array(x), batch_size=1):
    # このあと画像を表示するためにndarrayをPIL形式に変換して保存する
    img.append(d[0])
    # datagen.flowは無限ループするため必要な枚数取得できたらループを抜ける
    if len(img) == 10:
        print("finish")
        break

#データ結合
x_train_sum = np.vstack((x_train_sum, np.array(img)))
y_train_sum = np.hstack((y_train_sum, bell*np.ones(10)))
y_train_sum = to_categorical(y_train_sum)

#テストデータ
for i in range(len(x_test)):
    if y_test[i] == 1:#callは1
        x_test_c.append(x_test[i])
    
    if y_test[i] == 0:#bellは0
        x_test_b.append(x_test[i])
    
x_test_c = np.array(x_test_c)
x_test_b = np.array(x_test_b)

print(x_train_sum.shape)
print(y_train_sum.shape)
print(x_test_c.shape)
print(x_test_b.shape)

import cv2
from PIL import Image

def resize(x):
    x_out = []
    
    for i in range(len(x)):
        img = cv2.cvtColor(x[i], cv2.COLOR_RGB2BGR)
        img = cv2.resize(img,dsize=(96,96))
        x_out.append(img)
                
    return np.array(x_out)

X_train_sum = resize(x_train_sum)
X_test_c = resize(x_test_c)
X_test_b = resize(x_test_b)

import keras
from keras.applications import MobileNetV2
from keras.optimizers import Adam, SGD
from keras.models import Model
from keras.layers import GlobalAveragePooling2D, Dense
from keras import backend as K

from sklearn.neighbors import LocalOutlierFactor
from sklearn import metrics
from sklearn.preprocessing import MinMaxScaler


input_shape = (96, 96, 3)
classes = 3
batchsize = 128
alpha = 0.5

def train_and_evaluate(number, anomaly=True):
    # mobile net読み込み
    print("Model build...")
    
    mobile = MobileNetV2(include_top=True, input_shape=input_shape, alpha=alpha,
                     weights='imagenet')
    
    # 最終層削除
    mobile.layers.pop()
    model = Model(inputs=mobile.input,outputs=mobile.layers[-1].output)
            
    # L2層と全結合層を付ける
    c = keras.layers.Lambda(lambda xx: 5*(xx)/K.sqrt(K.sum(xx**2)))(model.output) #metric learning
    c = Dense(classes, activation='softmax')(c)
    model = Model(inputs=model.input,outputs=c)

    #model.summary()

    model.compile(loss='categorical_crossentropy',
                  optimizer=Adam(amsgrad=True),
                  metrics=['accuracy'])
    
    print(number,"training...")

    #cnnの学習
    if anomaly == True:
        train_NO = 5000
    else:
        train_NO = 4500

    hist = model.fit(X_train_sum[:train_NO],
                     y_train_sum[:train_NO],
                     batch_size=128,
                     epochs=50,
                     verbose = False)
    

    # 最終層削除
    model.layers.pop()
    model = Model(inputs=model.input,outputs=model.layers[-1].output)

    train = model.predict(X_train_sum[4000:4500], batch_size=1)#スニーカー
    test_c = model.predict(X_test_c, batch_size=1)
    test_b = model.predict(X_test_b, batch_size=1)

    train = train.reshape((len(train),-1))
    test_c = test_c.reshape((len(X_test_c),-1))
    test_b = test_b.reshape((len(X_test_b),-1))

    #0-1変換
    ms = MinMaxScaler()
    train = ms.fit_transform(train)
    test_c = ms.transform(test_c)
    test_b = ms.transform(test_b)

    # LOF
    clf = LocalOutlierFactor(n_neighbors=5)
    y_pred = clf.fit(train)

    # plot the level sets of the decision function
    Z1 = -clf._decision_function(test_c)
    Z2 = -clf._decision_function(test_b)

    #ROC曲線の描画
    y_true = np.zeros(len(test_c)+len(test_b))
    y_true[len(test_c):] = 1#0:正常、1：異常

    # FPR, TPR(, しきい値) を算出
    fpr, tpr, _ = metrics.roc_curve(y_true, np.hstack((Z1, Z2)))

    # AUC
    auc = metrics.auc(fpr, tpr)
    
    # ROC曲線をプロット
    plt.plot(fpr, tpr, label='metric learning(AUC = %.2f)'%auc)
    plt.legend()
    plt.title(str(number)+'ROC curve')
    plt.xlabel('False Positive Rate')
    plt.ylabel('True Positive Rate')
    plt.grid(True)
    plt.show()


#下記のコードを実行した際にエラーが発生いたします。
#　普通の異常検知
for i in range(2):
    train_and_evaluate(i+1, False)
    
#　弱異常検知
for i in range(2):
    train_and_evaluate(i+1)

#試していること
英語に疎い私ですが、エラーメッセージについて調査を行っていましたところ、下記のサイト様を参考に
Pythonエラー一覧（日本語）
「'list'オブジェクトは'reshape'という属性を持ってない」
と解釈をしました。しかし、ではどのようにコードを改善すればいいのかわからず、頭を抱えております。

#補足
使っているPCはmacOS Catalina バージョン10.15.5
Pythonのバージョンは3.6.5です
Jupiter notebookを使用しています

Answer 1

コード詳細動作の把握、妥当性の確認はしていませんがKeras - model.predict() returns list instead of numpy arrayと同様のケースかと思います。
上記に記載されているとおり、マルチ出力モデルだと複数の結果がnumpyのndarrayではなくリストで返るそうです。
よってreshapeしたい場合はリストをndarrayに変換してやればよいです。

Comments

[maguro2020]

ご回答いただきありがとうございます。can110様。
おかげさまで質問のエラーを無くすことができました。ありがとうございました。