Python3 Error when checking model input: the list of Numpy arrays that you are passing to your model

Question

前提・実現したいこと

kerasの分類問題コードで以下のエラーが発生しています。
これまでのこちらでのご質問とご回答を確認しましたが、解決方法が分からず相談をさせていただきました。
yのラベル形式の変換がうまくいっていないような気がするのですが、解決方法についてアドバイスをいただけないでしょうか。
お手数をおかけしますがどうぞよろしくお願い致します。

発生している問題・エラーメッセージ

ValueError: Error when checking model input: the list of Numpy arrays that you are passing to your model is not the size the model expected. Expected to see 2 array(s), but instead got the following list of 1 arrays: [array([[[[1.        ],
         [1.        ],
         [1.        ],
         ...,
         [1.        ],
         [1.        ],
         [1.        ]],

        [[1.        ],
         [1.        ],...

該当のソースコード

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

from keras.layers import Lambda, Input, Dense
from keras.models import Model
from keras.models import Sequential, model_from_json
from keras.losses import mse, binary_crossentropy
from keras.layers import Conv2D, Flatten
from keras.applications.mobilenet import MobileNet
from keras.layers.pooling import MaxPool2D
from keras.utils import plot_model, np_utils 
from keras.applications.mobilenetv2 import MobileNetV2
from keras.callbacks import Callback, EarlyStopping, TensorBoard, ModelCheckpoint, LearningRateScheduler, CSVLogger
from keras import optimizers
from keras import backend as K
from keras.layers import Layer
from keras import regularizers
from keras.preprocessing.image import array_to_img, img_to_array,load_img
from keras.preprocessing.image import ImageDataGenerator
from keras.layers import Activation, BatchNormalization, Dropout, GlobalAveragePooling2D

from sklearn.model_selection import train_test_split

import numpy as np
import matplotlib.pyplot as plt
import argparse
import os
import re
import glob
import random as rn
import tensorflow as tf
import cv2
from PIL import Image

import warnings
warnings.filterwarnings('ignore')

%matplotlib inline

class Arcfacelayer(Layer):
    # s:softmaxの温度パラメータ, m:margin
    def __init__(self, output_dim, s=30, m=0.50, easy_margin=False):
        self.output_dim = output_dim
        self.s = s
        self.m = m
        self.easy_margin = easy_margin
        super(Arcfacelayer, self).__init__()

    # 重みの作成
    def build(self, input_shape):
        # Create a trainable weight variable for this layer.
        self.kernel = self.add_weight(name='kernel',
                                      shape=(input_shape[0][1], self.output_dim),
                                      initializer='uniform',
                                      trainable=True)
        super(Arcfacelayer, self).build(input_shape)


    # mainの処理 
    def call(self, x):
        y = x[1]
        x_normalize = tf.math.l2_normalize(x[0]) # x = x'/ ||x'||2
        k_normalize = tf.math.l2_normalize(self.kernel) # Wj = Wj' / ||Wj'||2

        cos_m = K.cos(self.m)
        sin_m = K.sin(self.m)
        th = K.cos(np.pi - self.m)
        mm = K.sin(np.pi - self.m) * self.m

        cosine = K.dot(x_normalize, k_normalize) # W.Txの内積
        sine = K.sqrt(1.0 - K.square(cosine))

        phi = cosine * cos_m - sine * sin_m #cos(θ+m)の加法定理

        if self.easy_margin:
            phi = tf.where(cosine > 0, phi, cosine) 

        else:
            phi = tf.where(cosine > th, phi, cosine - mm) 

        # 正解クラス:cos(θ+m) 他のクラス:cosθ 
        output = (y * phi) + ((1.0 - y) * cosine) 
        output *= self.s

        return output

    def compute_output_shape(self, input_shape):

        return (input_shape[0][0], self.output_dim) #入力[x,y]のためx[0]はinput_shape[0][0]

# network parameters
image_size_width, image_size_height = (512, 496)
input_shape = (image_size_width,image_size_height,1)
batch_size = 16
kernel_size = 3
filters = 16
epochs = 100
num_classes = 4
weight_decay = 1e-4

folder = ["A","B","C","D"]
 
X = []
Y = []
for index, name in enumerate(folder):
    dir = "./" + name
    files = glob.glob(dir + "/*.jpeg")
    for i, file in enumerate(files):
        image = Image.open(file)
        image = image.convert("L")#("RGB")
        image = image.resize((image_size_width, image_size_height))
        data = np.asarray(image)
        X.append(data)
        Y.append(index)
 
X = np.array(X)
Y = np.array(Y)

X = np.reshape(X, [-1, image_size_width,image_size_height,1])
X = X.astype('float32') / 255

print(X.shape)

# 正解ラベルの形式を変換
Y = np_utils.to_categorical(Y, num_classes)

# 学習用データとテストデータ
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.20)
print(X_train.shape, X_test.shape, y_train.shape, y_test.shape)

#学習に使用するmodelを作成する関数
def create_mobilenet_with_arcface(n_categories, file_path=None):
    input=Input(shape=(512,496,1))
    print(input.shape)
    yinput = Input(shape=(4,))#n_categories,
    print(yinput.shape)
    
    x = Conv2D(32, kernel_size=(3, 3), activation='relu')(input)
    print("after conv2D:", x.shape)# after conv2D: (?, 510, 494, 32)
    x = MaxPool2D(pool_size=(2, 2))(x)
    print("after MaxPooling:", x.shape)# after MaxPooling: (?, 255, 247, 32)
    x = Conv2D(64, kernel_size=(3, 3), activation='relu')(x)
    print("after conv2D:", x.shape)# after conv2D: (?, 253, 245, 64)
    x = MaxPool2D(pool_size=(2, 2))(x)
    print("after MaxPooling:", x.shape)# after MaxPooling: (?, 126, 122, 64)
    # stock hidden model
    hidden = GlobalAveragePooling2D()(x)# hidden: (?, 64)
    print("hidden:",hidden.shape)
    # stock Feature extraction
    #x = Dropout(0.5)(hidden)
    x = Arcfacelayer(4, 30, 0.05)([hidden, yinput])#([hidden,yinput]) # (?, 4)
    print(x.shape)
    #x = Dense(1024,activation='relu')(x)
    prediction = Activation('softmax')(x)
    print(prediction.shape)# (?, 4)
    model = Model(inputs=[input, yinput],outputs=prediction)
    
    if file_path:
        model.load_weights(file_path)
        print('weightは{}'.format(file_path))
    
    return model

  
Adam = optimizers.Adam(lr=1e-4, decay=1e-4,beta_1=0.9, beta_2=0.999, epsilon=1e-8)
model = create_mobilenet_with_arcface(4, file_path=None)
model.compile(optimizer=Adam, loss='categorical_crossentropy', metrics=["accuracy"])

callbacks = []
callbacks.append(ModelCheckpoint(filepath="model.ep{epoch:02d}.h5", save_best_only=True))
callbacks.append(EarlyStopping(monitor='val_loss', patience=5, verbose=1))
callbacks.append(CSVLogger("history.csv"))

history = model.fit(X_train, y_train,
                    batch_size=batch_size,
                    epochs=epochs,
                    verbose=1,
                    validation_data=(X_test, y_test),
                   callbacks=callbacks)

score = model.evaluate(X_test, y_test, verbose=0)
print('Test loss:', score[0])
print('Test accuracy:', score[1])

Answer 1

多分、
model = Model(inputs=[input, yinput],outputs=prediction)
のinputs=[input, yinput]の部分が、
model.fit(X_train, y_train, ...)
とあっていないということだと思います。

inputs=... を一つにするか、
model.fit([X_train,..],)
とする必要があると思います。

参考
https://keras.io/ja/getting-started/functional-api-guide/

Comments

[SuzuAya]

>0kcalさん　たくさん時間を割いていただき本当にありがとうございました！
>daesakaさん　ご回答ありがとうございました。お手数をお掛けしました。

Answer 2

実行すると、同じエラーになります。
直す方法、いまだ、不明です。

追記：
list()をつけるとか、逆に、np.arrayをつけるような対応の回答が散見されます。
これに該当するか不明ですが。
そもそも、なぜ、動かなくなっているのかが、わからないですが。。。

いま、動作確認できない環境なので、あしからず。
（回答になっておらず、恐縮です。）

⇒　思考錯誤しましたが、ダメでした。断念します。