Q&A
エラー文は、これだけでしたか？今あるのは、エラーを起こした部分ですが、ここを呼び出した履歴がついていませんか？
chainerを使用し, 画像認識をしています.
CIFAR-100データセットの一部のクラスを使用して, ネットワークを学習させたいのですが, その方法が分かりません.
どのように修正すれば良いでしょうか.
データ抽出部分のみのコードは以下になります.
python
1 # 抽出するデータラベル 2 mask_list = [4, 30, 55, 72, 95, 1, 32, 67, 73, 91] 3 4 # cifar100を全データ格納 5 old_train, old_test = get_cifar100() 6 7 # 学習用データを抽出 8 count = 0 9 img = None 10 for i in range(len(old_train)): 11 if np.isin(old_train[i][1], mask_list): 12 if count == 0: 13 img = old_train[i][0] 14 label = old_train[i][1] 15 count += 1 16 else: 17 img = np.vstack((img, old_train[i][0])) 18 label = np.hstack((label, old_train[i][1])) 19 20 train = tuple_dataset.TupleDataset(img, label) 21 22 # 評価用データを抽出 23 count = 0 24 img = None 25 for i in range(len(old_test)): 26 if np.isin(old_test[i][1], mask_list): 27 if count == 0: 28 img = old_train[i][0] 29 label = old_train[i][1] 30 count += 1 31 else: 32 img = np.vstack((img, old_test[i][0])) 33 label = np.hstack((label, old_test[i][1])) 34 35 test = tuple_dataset.TupleDataset(img, label)
学習部分も含めたコードは以下になります.
python
1def main(): 2 gane = [64, 64, 128, 128, 256, 256, 256, 512, 512, 512, 512, 512, 512] 3 4 # 抽出するデータラベル 5 mask_list = [4, 30, 55, 72, 95, 1, 32, 67, 73, 91] 6 7 batchsize = 32 8 epoch = 300 9 learnrate = 0.05 10 gpu = 0 11 out = "result" 12 13 print('Using CIFAR100 dataset.') 14 # クラス数を設定 15 class_labels = len(mask_list) 16 # cifar100を全データ格納 17 old_train, old_test = get_cifar100() 18 19 # 学習用データを抽出 20 count = 0 21 img = None 22 for i in range(len(old_train)): 23 if np.isin(old_train[i][1], mask_list): 24 if count == 0: 25 img = old_train[i][0] 26 label = old_train[i][1] 27 count += 1 28 else: 29 img = np.vstack((img, old_train[i][0])) 30 label = np.hstack((label, old_train[i][1])) 31 32 train = tuple_dataset.TupleDataset(img, label) 33 34 # 評価用データを抽出 35 count = 0 36 img = None 37 for i in range(len(old_test)): 38 if np.isin(old_test[i][1], mask_list): 39 if count == 0: 40 img = old_train[i][0] 41 label = old_train[i][1] 42 count += 1 43 else: 44 img = np.vstack((img, old_test[i][0])) 45 label = np.hstack((label, old_test[i][1])) 46 47 test = tuple_dataset.TupleDataset(img, label) 48 49 model = L.Classifier(VGG(gane, class_labels)) 50 51 if gpu >= 0: 52 # Make a specified GPU current 53 chainer.cuda.get_device_from_id(gpu).use() 54 model.to_gpu() # Copy the model to the GPU 55 56 optimizer = chainer.optimizers.MomentumSGD(learnrate) 57 optimizer.setup(model) 58 optimizer.add_hook(chainer.optimizer.WeightDecay(5e-4)) 59 60 train_iter = chainer.iterators.SerialIterator(train, batchsize) 61 test_iter = chainer.iterators.SerialIterator(test, batchsize, 62 repeat=False, shuffle=False) 63 # Set up a trainer 64 updater = training.StandardUpdater(train_iter, optimizer, device=gpu) 65 trainer = training.Trainer(updater, (epoch, 'epoch'), out=out) 66 67 # Evaluate the model with the test dataset for each epoch 68 trainer.extend(extensions.Evaluator(test_iter, model, device=gpu)) 69 70 # Reduce the learning rate by half every 25 epochs. 71 trainer.extend(extensions.ExponentialShift('lr', 0.5), 72 trigger=(25, 'epoch')) 73 74 # Dump a computational graph from 'loss' variable at the first iteration 75 # The "main" refers to the target link of the "main" optimizer. 76 trainer.extend(extensions.dump_graph('main/loss')) 77 78 # Take a snapshot at each epoch 79 trainer.extend(extensions.snapshot(), trigger=(epoch, 'epoch')) 80 81 # Write a log of evaluation statistics for each epoch 82 trainer.extend(extensions.LogReport()) 83 84 trainer.extend(extensions.PrintReport( 85 ['epoch', 'main/loss', 'validation/main/loss', 86 'main/accuracy', 'validation/main/accuracy', 'elapsed_time'])) 87 88 trainer.run() 89 90if __name__ == '__main__': 91 main()
エラー文は以下になります.
--------------------------------------------------------------------------- ValueError Traceback (most recent call last) <ipython-input-4-eb3fae69fa84> in <module>() 224 225 if __name__ == '__main__': --> 226 main() <ipython-input-4-eb3fae69fa84> in main() 145 print(len(label)) 146 print(label.ndim) --> 147 train = tuple_dataset.TupleDataset(img, label) 148 149 count = 0 /usr/local/lib/python3.6/dist-packages/chainer/datasets/tuple_dataset.py in __init__(self, *datasets) 35 if len(dataset) != length: 36 raise ValueError( ---> 37 'dataset of the index {} has a wrong length'.format(i)) 38 self._datasets = datasets 39 self._length = length ValueError: dataset of the index 1 has a wrong length
すみません、エラーの原因だと思われる部分だけ抽出しました。
補足でエラー文全てを貼りました。
これだけ？mainとdatasetの間がない…
まぁ、メッセージや、発生行の直上のif文を見ればわかると思いますが、datasetに入っているデータの個数が、なにかの個数と合っていません。その「何か」がわかるかと思ってスタックトレースを追加してもらったのですが。
あ、コードも全部ではないのか。そして肝心なところがない？mainの一部なのか？
このやりとりで感じると思いますが、エラーメッセージを読んで、それが何を意図しているのか読み取ることができないと、エラーの内容を相手に伝えるだけで大変です。英語だからと放棄せず、翻訳ソフト・サイトを使ってでもエラーの意味を読み取り、「こういう間違いだろう」という目処はつけてください。
エラー文は上記のもので全てです。
コードに関してはmain()の中は全て載せています。
importの部分やネットワークの定義部分を省略しているのみです。
自分でもエラー文の翻訳および検索をしたのですが、原因の目処が立たなかったので質問させていただいた次第です。
申し訳ございません。
一応エラーを起こしている部分を把握したつもりで最初の投稿はさせていただきました。
そうですか。trainer.run で実行しているところで発生しているのかな。
Pythonをデバッグできる環境があればそれで実行し、エラーが出たら呼び出し履歴を遡って、あるいはそれぞれの数値を表示して、何が違うのか、調べることができます。おそらく、外部で見てもわからないと思います。デバッグして下さい。
label = np.hstack((label, old_train[i][1]))
これ、消しているようですが、元々のコードで実行した場合と、変更後のコードで実行した場合で、labelの次元数が変わったりしていませんか？
どちらも次元数1でした.
別環境で実行した結果、main()内でエラーを起こしている部分が追記されていました。
labelを作成する際のコードが学習データ、評価用データで別々だったので統一しておきました。
あなたの回答
tips
プレビュー
