python,chainerの画像認識。TypeError'NoneType'

Question

前提・実現したいこと

pythonによる画像認識のディープラーニングをchainerのライブラリを用いて行っています。
動作環境は、JupyterNotebookです。馬と牛の分類を目的としています。
データセットの作成までは問題なくできたのですが、CNN学習モデルの設定でエラーが出て解決できずにいます。

発生している問題・エラーメッセージ

#学習の実行セルに発生
TypeError                                 Traceback (most recent call last)
<ipython-input-27-ab3509b1dfc4> in <module>
      1 #学習の実行
----> 2 trainer.run()

~\Anaconda\envs\project_1\lib\site-packages\chainer\training\trainer.py in run(self, show_loop_exception_msg)
    347                         f.write('Traceback (most recent call last):\n')
    348                         traceback.print_tb(sys.exc_info()[2])
--> 349             six.reraise(*exc_info)
    350         finally:
    351             for _, entry in extensions:

~\Anaconda\envs\project_1\lib\site-packages\six.py in reraise(tp, value, tb)
    701             if value.__traceback__ is not tb:
    702                 raise value.with_traceback(tb)
--> 703             raise value
    704         finally:
    705             value = None

~\Anaconda\envs\project_1\lib\site-packages\chainer\training\trainer.py in run(self, show_loop_exception_msg)
    314                 self.observation = {}
    315                 with reporter.scope(self.observation):
--> 316                     update()
    317                     for name, entry in extensions:
    318                         if entry.trigger(self):

~\Anaconda\envs\project_1\lib\site-packages\chainer\training\updaters\standard_updater.py in update(self)
    173 
    174         """
--> 175         self.update_core()
    176         self.iteration += 1
    177 

~\Anaconda\envs\project_1\lib\site-packages\chainer\training\updaters\standard_updater.py in update_core(self)
    178     def update_core(self):
    179         iterator = self._iterators['main']
--> 180         batch = iterator.next()
    181         in_arrays = convert._call_converter(self.converter, batch, self.device)
    182 

~\Anaconda\envs\project_1\lib\site-packages\chainer\iterators\multiprocess_iterator.py in __next__(self)
    148             if self._prefetch_loop.measure_required():
    149                 measure_mode = True
--> 150                 batch, state = self._prefetch_loop.measure(
    151                     self.dataset_timeout)
    152             self._prefetch_loop.launch_thread()

~\Anaconda\envs\project_1\lib\site-packages\chainer\iterators\multiprocess_iterator.py in measure(self, dataset_timeout)
    449 
    450             batch = batch_ret[0]
--> 451             self.mem_size = max(map(_measure, batch))
    452             self._allocate_shared_memory()
    453 

TypeError: 'NoneType' object is not iterable

該当のソースコード

#セータセットの作成
from chainer.datasets import LabeledImageDataset
horcecow_dataset = LabeledImageDataset(image_and_teacher_label_list)

#データセットの代入
from chainer.datasets import TransformDataset
transformed_dataset = TransformDataset(horcecow_dataset, adapt_data_to_convolution2d_format)

#学習データと検証データを分ける
from chainer import datasets
train_data, test_data = datasets.split_dataset_random(transformed_dataset, int(len(transformed_dataset) * 0.8), seed=0)

import chainer
import chainer.functions as F
import chainer.links as L
from chainer import training, serializers, Chain, optimizers, iterators
from chainer.training import extensions, Trainer

GPU_ID = -1
BATCH_SIZE = 20
MAX_EPOCH = 10

#CNNの設定
class CNN(Chain):
    def __init__(self):
        super(CNN, self).__init__()
        with self.init_scope():
            self.conv1 = L.Convolution2D(None,out_channels=32, ksize=3, stride=1, pad=1)
            self.conv2 = L.Convolution2D(in_channels=32, out_channels=64, ksize=3, stride=1, pad=1)
            self.conv3 = L.Convolution2D(in_channels=64, out_channels=128, ksize=3, stride=1, pad=1)
            self.conv4 = L.Convolution2D(in_channels=128, out_channels=256, ksize=3, stride=1, pad=1)
            self.layer1 = L.Linear(None, 1000)
            self.layer2 = L.Linear(1000, 2)
            
    def __call__(self, input):
        func = F.max_pooling_2d(F.relu(self.conv1(input)), ksize=2, stride=2)
        func = F.max_pooling_2d(F.relu(self.conv2(func)), ksize=2, stride=2)
        func = F.max_pooling_2d(F.relu(self.conv3(func)), ksize=2, stride=2)
        func = F.max_pooling_2d(F.relu(self.conv4(func)), ksize=2, stride=2)
        func = F.dropout(F.relu(self.layer1(func)), ratio=0.80)
        func = self.layer2(func)
        return func

#モデルのインスタンス作成
model = L.Classifier(CNN())

#反復子の作成
#train_data,test_dataはデータセット済み
train_iterator = iterators.MultiprocessIterator(train_data, BATCH_SIZE)
test_iterator = iterators.MultiprocessIterator(test_data, BATCH_SIZE, False, False)

#最適化
optimizer = optimizers.Adam().setup(model)

#ミニバッチの学習
updater = training.StandardUpdater(train_iterator, optimizer, device=GPU_ID)

#学習プロセスの自動化
trainer = Trainer(updater, stop_trigger=(MAX_EPOCH, 'epoch'))

#学習の実行
trainer.run()

試したこと

CNNクラスの畳み込み層の入出力をいろいろと変化させてみました。
おそらくどこかの戻り値がNoneになってしまっていると思います。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Comments

[8524ba23]

どこでエラーが発生したか分からないのでエラーは全文（Traceback）を記載ください。

[8524ba23]

train_data, test_dataの生成部分のコードも提示ください。
あるいはそれぞれの.shapeを記載ください。

[yoshhhi]

ご指摘ありがとうございます。
更新した内容で大丈夫でしょうか？
train_dataは92個、test_dataは23個のデータとなっています。
宜しくお願い致します。

[8524ba23]

> train_dataは92個、test_dataは23個のデータとなっています。
どのような手段（コード）で確認しましたか？また、shapeはどうなっていますか？
print(train_data.shape);print(test_data.shape)の結果を記載ください。

[yoshhhi]

print(len(train_data)),print(len(test_data))で確認した次第です。

print(train_data.shape),print(test_data.shape)ですと以下のようなエラーが表示されてしまいます。
AttributeError Traceback (most recent call last)
<ipython-input-18-d4c4574dd2a8> in <module>
----> 1 print(train_data.shape)
2 print(test_data.shape)

AttributeError: 'SubDataset' object has no attribute 'shape'

[8524ba23]

あ。chainerはnumpy:arrayじゃないんですね。失礼＆了解しました。

Answer 1

まずはどこでなにがNoneになるのかを調べてみては。

Comments

[yoshhhi]

ご回答ありがとうございます。
色々とprint()で調べてみたのですが、突き止めることができず質問するに至った次第です。