Tensorflowによるモデル学習で躓いています

Question

以下のコードを実行した所、モデルの学習の所でエラーが
発生してしまいます。
原因と対処方法をご教示頂けると幸いです。

import sys , os
import random

import numpy as np
import cv2


# 画像をランダムの位置で切り抜くプログラム
def random_clip(img , clip_size , num = 10):
    clip_images = []
    height, width = img.shape[:2]

    # 画像をclip_sizeサイズごとにnum回切り抜く
    for y in range( num ):
        rand_y = random.randint(0,height - clip_size)
        rand_x = random.randint(0,width - clip_size)        
        clip_img = img[ rand_y : rand_y + clip_size, rand_x : rand_x + clip_size]
        clip_img = clip_img.flatten().astype(np.float32)/255.0
        clip_images.append(clip_img)

    return clip_images


# データセットから画像とラベルをランダムに取得
def random_sampling( images , labels , train_num , test_num = 0  ):
    image_train_batch = []
    label_train_batch = []

    #乱数を発生させ，リストを並び替える．
    random_seq = list(range(len(images)))
    random.shuffle(random_seq)

    # バッチサイズ分画像を選択
    image_train_batch = images[ :train_num ]
    label_train_batch = labels[ :train_num ]

    if test_num == 0: # 検証用データの指定がないとき
        return image_train_batch , label_train_batch
    else:
        image_test_batch = images[ train_num : train_num + test_num ]
        label_test_batch = labels[ train_num : train_num + test_num ]
        return image_train_batch , label_train_batch , image_test_batch , label_test_batch


# フォルダーの画像をランダム位置でクリップした後にリサイズして読み込む
def make( folder_name , img_size = 0 , clip_num = 0 , clip_size = 0 ,train_num = 0 , test_num = 0 ):
    train_image = []
    test_image = []
    train_label = []
    test_label= []

    # フォルダ内のディレクトリの読み込み
    classes = os.listdir( folder_name )

    for i, d in enumerate(classes):
        files = os.listdir( folder_name + '/' + d  )

        tmp_image = []
        tmp_label = []
        for f in files:
            # 1枚の画像に対する処理
            if not 'jpg' in f:# jpg以外のファイルは無視
                continue

            # 画像読み込み
            img = cv2.imread( folder_name+ '/' + d + '/' + f)
            # one_hot_vectorを作りラベルとして追加
            label = np.zeros(len(classes))
            if d == "0":
               label[i] = 0
            elif d == "1":
               label[i] = 1
            else:
               label[i] = 0

            # リサイズをする処理
            if img_size != 0:
                img = cv2.resize( img , (img_size , img_size ))
                img = img.flatten().astype(np.float32)/255.0
                tmp_image.append(img)                
                tmp_label.append(label)
            elif clip_size != 0 and clip_num != 0:
                img = random_clip( img , clip_size , clip_num)
                tmp_image.extend( img )                    
                for j in range(clip_num):
                    tmp_label.append(label)
            else:
                img = img.flatten().astype(np.float32)/255.0
                tmp_image.append(img)
                tmp_label.append(label)


        # データセットのサイズが指定されているときはその枚数分ランダムに抽出する
        if train_num == 0 :
            train_image.extend( tmp_image )
            train_label.extend( tmp_label )
        #　テスト画像の指定がないとき
        elif test_num == 0 :
            sampled_image , sampled_label = random_sampling( tmp_image , tmp_label , train_num )
            train_image.extend( sampled_image )
            train_label.extend( sampled_label )
        else :
            sampled_train_image , sampled_train_label , sampled_test_image , sampled_test_label = random_sampling( tmp_image , tmp_label , train_num , test_num )
            train_image.extend( sampled_train_image )
            train_label.extend( sampled_train_label )
            test_image.extend( sampled_test_image )
            test_label.extend( sampled_test_label )

        print(d + 'read complete ,' + str(len(train_label)) + ' pictures exit')

    # numpy配列に変換
    train_image = np.asarray( train_image )
    train_label = np.asarray( train_label )

    if test_num != 0: #testデータセットがあるときは返り値が変わる
        test_image = np.asarray( test_image )
        test_label = np.asarray( test_label )
        return train_image , train_label , test_image , test_label

    return train_image , train_label
    

# TensorFlow と tf.keras のインポート
import tensorflow as tf
from tensorflow import keras

# ヘルパーライブラリのインポート
import numpy as np
import matplotlib.pyplot as plt

print(tf.__version__)

#mnist = keras.datasets.mnist

#(train_images, train_labels), (test_images, test_labels) = mnist.load_data()
import image_dataset
train_images ,train_labels, test_images ,test_labels = image_dataset.make('C:/Users/cv/dataset',img_size = 32, train_num=10000 , test_num =1000)

train_images.shape

print(train_images.shape, train_labels.shape)

#plt.figure()
#plt.imshow(train_images[0], cmap='gray')
#plt.colorbar()
#plt.grid(False)
#試しに表示
#plt.show()

len(train_labels)
train_labels
test_images.shape
len(test_labels)

#データの前処理
#plt.figure()
#plt.imshow(train_images[0])
#plt.colorbar()
#plt.grid(False)
#plt.show()

train_images = train_images / 255.0
test_images = test_images / 255.0

model = keras.Sequential([
    keras.layers.Dense(128, activation='relu'),
    keras.layers.Dense(10, activation='softmax')
])
#モデルのコンパイル
model.compile(optimizer='adam', 
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
#モデルの訓練
model.fit(train_images, train_labels, epochs=5)

# save model
model.save("model_cnn.h5")

test_loss, test_acc = model.evaluate(test_images,  test_labels, verbose=2)
#正解率の評価
print('\nTest accuracy:', test_acc)

print("end")

Flatten実行の行を消して実行した結果

2021-02-17 10:05:53.420778: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cudart64_110.dll'; dlerror: cudart64_110.dll not f
ound
2021-02-17 10:05:53.428672: I tensorflow/stream_executor/cuda/cudart_stub.cc:29] Ignore above cudart dlerror if you do not have a GPU set up on your machine.
2.4.1
0read complete ,1 pictures exit
～中略～
(10, 3072) (10, 10)
2021-02-17 10:05:59.694157: I tensorflow/compiler/jit/xla_cpu_device.cc:41] Not creating XLA devices, tf_xla_enable_xla_devices not set
2021-02-17 10:05:59.706703: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'nvcuda.dll'; dlerror: nvcuda.dll not found
2021-02-17 10:05:59.718986: W tensorflow/stream_executor/cuda/cuda_driver.cc:326] failed call to cuInit: UNKNOWN ERROR (303)
2021-02-17 10:05:59.799102: I tensorflow/stream_executor/cuda/cuda_diagnostics.cc:169] retrieving CUDA diagnostic information for host: CVPC-0164
2021-02-17 10:05:59.806406: I tensorflow/stream_executor/cuda/cuda_diagnostics.cc:176] hostname: CVPC-0164
2021-02-17 10:05:59.811840: I tensorflow/core/platform/cpu_feature_guard.cc:142] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use t
he following CPU instructions in performance-critical operations:  AVX2
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
2021-02-17 10:05:59.820411: I tensorflow/compiler/jit/xla_gpu_device.cc:99] Not creating XLA devices, tf_xla_enable_xla_devices not set
2021-02-17 10:06:00.102449: I tensorflow/compiler/mlir/mlir_graph_optimization_pass.cc:116] None of the MLIR optimization passes are enabled (registered 2)
Epoch 1/5
Traceback (most recent call last):
  File "cnn_image.py", line 53, in <module>
    model.fit(train_images, train_labels, epochs=5)
  File "C:\Users\anaconda3\envs\tensorflow-cpu\lib\site-packages\tensorflow\python\keras\engine\training.py", line 1100, in fit
    tmp_logs = self.train_function(iterator)
  File "C:\Users\anaconda3\envs\tensorflow-cpu\lib\site-packages\tensorflow\python\eager\def_function.py", line 828, in __call__
    result = self._call(*args, **kwds)
  File "C:\Users\anaconda3\envs\tensorflow-cpu\lib\site-packages\tensorflow\python\eager\def_function.py", line 888, in _call
    return self._stateless_fn(*args, **kwds)
  File "C:\Users\anaconda3\envs\tensorflow-cpu\lib\site-packages\tensorflow\python\eager\function.py", line 2942, in __call__
    return graph_function._call_flat(
  File "C:\Users\anaconda3\envs\tensorflow-cpu\lib\site-packages\tensorflow\python\eager\function.py", line 1918, in _call_flat
    return self._build_call_outputs(self._inference_function.call(
  File "C:\Users\anaconda3\envs\tensorflow-cpu\lib\site-packages\tensorflow\python\eager\function.py", line 555, in call
    outputs = execute.execute(
  File "C:\Users\anaconda3\envs\tensorflow-cpu\lib\site-packages\tensorflow\python\eager\execute.py", line 59, in quick_execute
    tensors = pywrap_tfe.TFE_Py_Execute(ctx._handle, device_name, op_name,
tensorflow.python.framework.errors_impl.InvalidArgumentError:  logits and labels must have the same first dimension, got logits shape [10,10] and labels shape [100]
         [[node sparse_categorical_crossentropy/SparseSoftmaxCrossEntropyWithLogits/SparseSoftmaxCrossEntropyWithLogits (defined at cnn_image.py:53) ]] [Op:__inference_train_
function_528]

Function call stack:
train_function

PS C:\Users\cv>

print(train_images.shape, train_labels.shape)の結果

(10, 2352) (10, 10)

python3.7
Tensorflow2.4.1

Comments

[DaiGuard]

はじめましてエラーを見る限り
`train_images`の配列形状に問題があるかもしれないので
`print(train_images.shape, train_labels.shape)`の結果を
出してもらうことはできますか？

[tanuki_]

承知致しました。少々お待ち下さいませ

[tanuki_]

DaiGuardさん
結果になります。
(10, 2352) (10, 10)

Answer 1

当初のエラーはお２方のご教示で解決致しましたのでこちらはクローズと致します。

Answer 2

今回使われているモデルは
以下のようなデータ形状の変更を行います
すでにtrain_imagesがフラットな形状になっているようなので
Flattenの行を消して動くと思います

keras.layers.Flatten(input_shape=(28, 28)), # (28, 28) -> (784)
    keras.layers.Dense(128, activation='relu'), # (784) -> (128)
    keras.layers.Dense(10, activation='softmax') # (128) -> (10)

Comments

[tanuki_]

ありがとうございます。
これから試してみます。

[tanuki_]

試してみたのですが別のエラーが発生して学習が動きませんでした。
質問を更新しますのでご教示頂けると幸いです。

Answer 3

ニューラルネットの入力のshapeが次のように28x28=784のデータなのに対して、

    keras.layers.Flatten(input_shape=(28, 28)),

train_imagesのshapeの2次元目は2352(=32x32x3)になってしまっています。

読み込んでいる画像ファイルはRGBのカラー画像ですか？
もしカラー画像なら、
関数def make()で32x32に画像をリサイズしているようですので、

    keras.layers.Flatten(input_shape=(32, 32, 3)),

とすれば良いと思います。

Comments

[tanuki_]

ありがとうございます。
これから試してみます。

[tanuki_]

読み込んでいる画像ファイルはRGBのカラー画像です。
keras.layers.Flatten(input_shape=(32, 32, 3)),
とした所、別のエラーに直面しました。
ご教示頂けると幸いです。

[aipy2020]

お役に立てず申し訳ありません。
Flatten消して、最初のDenseに、input_shape=(2352, )をつけるのが正解でしたかね。
私に勘違いがあり、誤った回答をしてしまい申し訳ありません。
また、2352は28x28x3ですね。2重に間違っていました。

[tanuki_]

aipy2020さん
十分に助けて頂きました。
ありがとうございました。