質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

受付中

Tensorflowによるモデル学習が上手くいきません。

tanuki_
tanuki_

総合スコア9

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

1回答

0評価

0クリップ

2133閲覧

投稿2021/02/19 02:03

編集2022/01/12 10:55

以下のコードを実行した所、モデルの学習の所で、
ValueError: Input 0 of layer dense is incompatible with the layer: expected axis -1 of input shape to have value 2025 but received input with shape (None, 6075)
が発生してしまいます。
ネットワークの入力を、

python

input_shape=(45, 45,3)

とした所、当初のエラーは解消されたように見えます。
今度は、
tensorflow.python.framework.errors_impl.InvalidArgumentError: logits and labels must have the same first dimension, got logits shape [10,10] and labels shape [100]
というエラーが出ます。

CNNをはじめて実装したので,原因がよくわかっていません。
わかる方.宜しくお願い致します。

データセット作成で使用している画像(カラー)(45×45×3)

イメージ説明
イメージ説明

python

import sys , os import random import numpy as np import cv2 # 画像をランダムの位置で切り抜くプログラム def random_clip(img , clip_size , num = 10): clip_images = [] height, width = img.shape[:2] # 画像をclip_sizeサイズごとにnum回切り抜く for y in range( num ): rand_y = random.randint(0,height - clip_size) rand_x = random.randint(0,width - clip_size) clip_img = img[ rand_y : rand_y + clip_size, rand_x : rand_x + clip_size] clip_img = clip_img.flatten().astype(np.float32)/255.0 clip_images.append(clip_img) return clip_images # データセットから画像とラベルをランダムに取得 def random_sampling( images , labels , train_num , test_num = 0 ): image_train_batch = [] label_train_batch = [] #乱数を発生させ,リストを並び替える. random_seq = list(range(len(images))) random.shuffle(random_seq) # バッチサイズ分画像を選択 image_train_batch = images[ :train_num ] label_train_batch = labels[ :train_num ] if test_num == 0: # 検証用データの指定がないとき return image_train_batch , label_train_batch else: image_test_batch = images[ train_num : train_num + test_num ] label_test_batch = labels[ train_num : train_num + test_num ] return image_train_batch , label_train_batch , image_test_batch , label_test_batch # フォルダーの画像をランダム位置でクリップした後にリサイズして読み込む def make( folder_name , img_size = 0 , clip_num = 0 , clip_size = 0 ,train_num = 0 , test_num = 0 ): train_image = [] test_image = [] train_label = [] test_label= [] # フォルダ内のディレクトリの読み込み classes = os.listdir( folder_name ) for i, d in enumerate(classes): files = os.listdir( folder_name + '/' + d ) tmp_image = [] tmp_label = [] for f in files: # 1枚の画像に対する処理 if not 'jpg' in f:# jpg以外のファイルは無視 continue # 画像読み込み img = cv2.imread( folder_name+ '/' + d + '/' + f) # one_hot_vectorを作りラベルとして追加 label = np.zeros(len(classes)) if d == "0": label[i] = 0 elif d == "1": label[i] = 1 else: label[i] = 0 # リサイズをする処理 if img_size != 0: img = cv2.resize( img , (img_size , img_size )) img = img.flatten().astype(np.float32)/255.0 tmp_image.append(img) tmp_label.append(label) elif clip_size != 0 and clip_num != 0: img = random_clip( img , clip_size , clip_num) tmp_image.extend( img ) for j in range(clip_num): tmp_label.append(label) else: img = img.flatten().astype(np.float32)/255.0 tmp_image.append(img) tmp_label.append(label) # データセットのサイズが指定されているときはその枚数分ランダムに抽出する if train_num == 0 : train_image.extend( tmp_image ) train_label.extend( tmp_label ) # テスト画像の指定がないとき elif test_num == 0 : sampled_image , sampled_label = random_sampling( tmp_image , tmp_label , train_num ) train_image.extend( sampled_image ) train_label.extend( sampled_label ) else : sampled_train_image , sampled_train_label , sampled_test_image , sampled_test_label = random_sampling( tmp_image , tmp_label , train_num , test_num ) train_image.extend( sampled_train_image ) train_label.extend( sampled_train_label ) test_image.extend( sampled_test_image ) test_label.extend( sampled_test_label ) print(d + 'read complete ,' + str(len(train_label)) + ' pictures exit') # numpy配列に変換 train_image = np.asarray( train_image ) train_label = np.asarray( train_label ) if test_num != 0: #testデータセットがあるときは返り値が変わる test_image = np.asarray( test_image ) test_label = np.asarray( test_label ) return train_image , train_label , test_image , test_label return train_image , train_label

python

# TensorFlow と tf.keras のインポート import tensorflow as tf from tensorflow import keras # ヘルパーライブラリのインポート import numpy as np import matplotlib.pyplot as plt print(tf.__version__) #mnist = keras.datasets.mnist #(train_images, train_labels), (test_images, test_labels) = mnist.load_data() import image_dataset #train_images ,train_labels, test_images ,test_labels = image_dataset.make('C:/Users/dataset',img_size = 28, train_num=10000 , test_num =1000) train_images ,train_labels, test_images ,test_labels = image_dataset.make('C:/Users/dataset',img_size = 45, train_num=10000 , test_num =1000) train_images.shape #print(train_images.shape, train_labels.shape) print('train_images.shape:') print(train_images.shape) #plt.figure() #plt.imshow(train_images[0], cmap='gray') #plt.colorbar() #plt.grid(False) #試しに表示 #plt.show() len(train_labels) train_labels test_images.shape len(test_labels) #データの前処理 #plt.figure() #plt.imshow(train_images[0]) #plt.colorbar() #plt.grid(False) #plt.show() train_images = train_images / 255.0 test_images = test_images / 255.0 #model = keras.Sequential([ # keras.layers.Flatten(input_shape=(32, 32, 3)), # keras.layers.Dense(128, activation='relu'), # keras.layers.Dense(10, activation='softmax') #]) model = tf.keras.Sequential([ tf.keras.layers.Flatten(input_shape=(45, 45,3), name='flatten_layer'), tf.keras.layers.Dense(128, activation='relu'), tf.keras.layers.Dropout(0.2), tf.keras.layers.Dense(10, activation='softmax') ]) #model.summary() #モデルのコンパイル model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) #モデルの訓練 model.fit(train_images, train_labels, epochs=5) # save model model.save("model_cnn.h5") test_loss, test_acc = model.evaluate(test_images, test_labels, verbose=2) #正解率の評価 print('\nTest accuracy:', test_acc) print("end")

実行結果

2021-02-19 13:07:03.954106: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cudart64_110.dll'; dlerror: cudart64_110.dll not f ound 2021-02-19 13:07:03.956781: I tensorflow/stream_executor/cuda/cudart_stub.cc:29] Ignore above cudart dlerror if you do not have a GPU set up on your machine. 2.4.1 0read complete ,1 pictures exit 1read complete ,2 pictures exit train_images.shape: (10, 6075) 2021-02-19 13:07:06.893626: I tensorflow/compiler/jit/xla_cpu_device.cc:41] Not creating XLA devices, tf_xla_enable_xla_devices not set ~中略~ packages\tensorflow\python\eager\execute.py", line 59, in quick_execute tensors = pywrap_tfe.TFE_Py_Execute(ctx._handle, device_name, op_name, tensorflow.python.framework.errors_impl.InvalidArgumentError: logits and labels must have the same first dimension, got logits shape [10,10] and labels shape [100] [[node sparse_categorical_crossentropy/SparseSoftmaxCrossEntropyWithLogits/SparseSoftmaxCrossEntropyWithLogits (defined at cnn_image.py:66) ]] [Op:__inference_train_ function_571] Function call stack: train_function

print(train_images.shape)の結果

(10, 6075)

print(train_labels.shape)の結果

(10,10)

Tensorflow2.4.1
Python3.7

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

meg_

2021/02/19 02:43

訓練用の画像はグレースケールですか?
tanuki_

2021/02/19 03:15

はい。グレースケールです。
jbpb0

2021/02/19 03:28

print(train_images.shape) の結果は、どうなりますか?
tanuki_

2021/02/19 03:41

(10, 6075)となりました。
tanuki_

2021/02/19 04:37

45×45x3=6075ですね。 失礼しました。
jbpb0

2021/02/19 04:55

x3ということは、カラーなのですかね? データは実質グレーでも、データ形式としてはカラー(3チャンネル)になっていて、三つのチャンネルに同じ値が入ってる?? もしそうなら、ネットワークの入力は input_shape=(45, 45) なので、x3の分が考慮されてないような
tanuki_

2021/02/19 05:12

本来は2チャンネルでやりたいのですが方法が分からない状態です。 x3の考慮をして動かしてみます。
aipy2020

2021/02/19 16:46

print(train_labels.shape) はどうなりますか? labelが0か1の整数なら(10, 1)、クラス数が10個なら(10,10)になると思います。
tanuki_

2021/02/19 23:29

(10, 10)が返ってきました。
jbpb0

2021/02/20 02:38

それだと loss='sparse_categorical_crossentropy' と矛盾してると思います
tanuki_

2021/02/20 05:05

すみません。 具体的にどういう事でしょうか? 調べても良く理解出来ませんでした。。
jbpb0

2021/02/20 09:27

私の 2021/02/19 20:00 のコメントに書いた参考Webページを見てください
tanuki_

2021/02/20 09:36

分かりました。 見てみます。 ありがとうございます。
toast-uz

2021/02/20 22:43

質問とは直接関係ありませんが「CNNをはじめて実装した」→Conv層があってはじめてCNNと呼べますので、現段階ではCNNとは呼べません。
jbpb0

2021/02/21 05:47

TensorFlowのチュートリアル はじめてのニューラルネットワーク:分類問題の初歩 https://www.tensorflow.org/tutorials/keras/classification?hl=ja でも、model.compile()で、質問者さんのコードと同じ loss='sparse_categorical_crossentropy' としてますよね では、上記チュートリアルではラベルはどうなっているか確認するために、それの、 model.fit(train_images, train_labels, epochs=5) の直前に、 print(train_labels.shape) print(train_labels) を追記してgoogleコラボで実行したら、結果は下記のようになります (やってみてください) (60000,) [9 0 0 ... 3 0 5] つまり、ラベルのshapeは「(サンプル数,)」で、ラベルは分類したい整数の値(上記チュートリアルでは0〜9)です 一方、質問者さんのコードでは、ラベルのshapeは > (10, 10)が返ってきました。 でしたから、違いますよね また、ラベルの値も、make()でonehotにしてますから、0か1かのどちらかで、やはりチュートリアルとは違いますよね loss='sparse_categorical_crossentropy' とするのなら、ラベルの形式を上記チュートリアルのようにしなければいけません あるいは、ラベルの形式は変えず、 loss='sparse_categorical_crossentropy' ではなく、 loss='categorical_crossentropy' を使うか

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。