【ゼロから作るDeep Learning】CNNの学習をMNIST以外のデータセットで実装

Question

本書の「7.5 CNNの実装」でCNNの精度を確認するため(ch7/train_convnet.pyのソースコード)にMNISTを使っているのですが、そのMNISTのデータを動物のBGR画像データに変えて実行したところ、エラーが出てしまいました。
これを何とか学習することは出来るのでしょうか？

画像データは

x_train : サイズ(1000,3,50,50), 型 Array of uint8
t_train : サイズ(1000,), 型 Array of int32　(犬は1、猫は2、など…)
x_test : サイズ(500,3,50,50), 型 Array of uint8
t_test : サイズ(500,), 型 Array of int32　(上と同様)

です。

##エラーメッセージ

Reloaded modules: simple_convnet, common, common.layers, common.functions, common.util, common.gradient, common.trainer, common.optimizer
Traceback (most recent call last):

  File "C:\Users\hatae.spyder-py3\タイトル無し1.py", line 92, in <module>
    trainer.train()

  File "..\common\trainer.py", line 71, in train
    self.train_step()

  File "..\common\trainer.py", line 44, in train_step
    grads = self.network.gradient(x_batch, t_batch)

  File "C:\Users\hatae\OneDrive\デスクトップ\deep-learning-from-scratch\ch07\simple_convnet.py", line 126, in gradient
    self.loss(x, t)

  File "C:\Users\hatae\OneDrive\デスクトップ\deep-learning-from-scratch\ch07\simple_convnet.py", line 72, in loss
    return self.last_layer.forward(y, t)

  File "..\common\layers.py", line 79, in forward
    self.loss = cross_entropy_error(self.y, self.t)

  File "..\common\functions.py", line 57, in cross_entropy_error
    return -np.sum(np.log(y[np.arange(batch_size), t] + 1e-7)) / batch_size

IndexError: index 10 is out of bounds for axis 1 with size 10

最後の「index 10 is out of ~」のindex後の数字は実行したときによって違います。

##コード

import sys, os
sys.path.append(os.pardir)  # 親ディレクトリのファイルをインポートするための設定
import numpy as np
import matplotlib.pyplot as plt
os.chdir(r"C:/Users/hatae/OneDrive/デスクトップ/deep-learning-from-scratch/ch07")
from simple_convnet import SimpleConvNet
from common.trainer import Trainer

max_epochs = 20

network = SimpleConvNet(input_dim=(3,50,50), 
                        conv_param = {'filter_num': 30, 'filter_size': 5, 'pad': 0, 'stride': 1},
                        hidden_size=100, output_size=10, weight_init_std=0.01)
                        
trainer = Trainer(network, x_train, t_train, x_test, t_test,
                  epochs=max_epochs, mini_batch_size=100,
                  optimizer='Adam', optimizer_param={'lr': 0.001},
                  evaluate_sample_num_per_epoch=1000)
trainer.train()

# パラメータの保存
network.save_params("params.pkl")
print("Saved Network Parameters!")

# グラフの描画
markers = {'train': 'o', 'test': 's'}
x = np.arange(max_epochs)
plt.plot(x, trainer.train_acc_list, marker='o', label='train', markevery=2)
plt.plot(x, trainer.test_acc_list, marker='s', label='test', markevery=2)
plt.xlabel("epochs")
plt.ylabel("accuracy")
plt.ylim(0, 1.0)
plt.legend(loc='lower right')
plt.show()

ご教授頂けると幸いです。

Answer 1

IndexError: index 10 is out of bounds for axis 1 with size 10

このエラーメッセージの意味は、y[np.arange(batch_size), t]の部分で、t（＝axis 1）の値が0〜9でないといけない（size 10なので）にも関わらず、10（index 10）が指定されている、という意味だと思います。

以下、想像になりますが、

t_train : サイズ(1000,), 型 Array of int32　(犬は1、猫は2、など…)

この値の範囲はMNISTと同じ0〜9でしょうか？ここが10以上になることがあると、このエラーになりそうな気がします。もしMNISTと違うのであれば、それに合わせて出力層のニューロンの数を変えないといけません。SimpleConvNet()のoutput_size=10がその指定になるかと思います。

Comments

[RayU]

ありがとうございます、その通りでした。
ただ直したところ、今度は

File "..\common\functions.py", line 57, in cross_entropy_error
return -np.sum(np.log(y[np.arange(batch_size), t] + 1e-7)) / batch_size

IndexError: arrays used as indices must be of integer (or boolean) type

というエラーが出てしまいました。
実装の都合上で t をfor文使い　t = np.append(t,0(←正解ラベル))　と強引に代入したため型が”Array of float64”になったことが原因だと思うのですが、なんとかfor文を使ってArray of int32を実装できませんか？

↓元の t の実装コード
t = np.array([])
for i in range(1000):
if i < 200:
if i < 400:
if i < 600:
if i < 800:t = np.append(t,0)
else: t = np.append(t,1)
else: t = np.append(t,2)
else: t = np.append(t,3)
else: t = np.append(t,4)

[segavvy]

最初の t = np.array([]) を t = np.array([], dtype='int32') にするか、もしくは、t を作った後に t = t.astype('int32') で変換するかでしょうか。
なお、そのコードだと t には 0 と 4 しか入らないように見えます。不等号の向きが逆かも知れません。

[RayU]

確かにそうでした、色々ありがとうございました。

[segavvy]

いえいえ、お役に立てたようでしたら良かったです。