chainerを使って学習させようとするとクラッシュします

Question

google colaboratory上でシカとカバとウマ画像を用いて画像分類の学習をするプログラムを作っているのですが、プログラムを実行するとクラッシュします。エラーも出ないので困っています。どうしたら直せるのでしょうか。

ファイルの配列は
net.py（下のコード）
train(学習用画像ファイル)
|----Deers_train(シカの学習用画像224枚)
|
|----Horse_train(ウマの学習用画像326枚)
|
|----Hippo_train(カバの学習用画像429枚)

としています

import chainer
import os
import glob
from itertools import chain
from chainer.datasets import LabeledImageDataset
from chainer import iterators,training,optimizers,datasets,serializers
from chainer.training import extensions,triggers
from chainer.dataset import concat_examples
from chainercv.transforms import resize
from chainer.datasets import TransformDataset
import chainer.functions as F
import chainer.links as L

chainer.config.train = True

class MyChain(chainer.Chain):

    def __init__(self):
        super(MyChain,self).__init__()
        with self.init_scope():
            self.conv1 = L.Convolution2D(None,16,3,pad=2)
            self.conv2 = L.Convolution2D(None,32,3,pad=2)
            self.l3 = L.Linear(None,256)
            self.l4 = L.Linear(None,3)

    def __call__(self,x):
        h = F.max_pooling_2d(F.relu(self.conv1(x)),ksize=5,stride=2,pad=2)
        h = F.max_pooling_2d(F.relu(self.conv2(x)),ksize=5,stride=2,pad=2)
        h = F.dropout(F.relu(self.l3(h)))
        y = self.l4(h)
        return y

#img-----------

IMG_TRA = 'train'

dnames = glob.glob('{}/*'.format(IMG_TRA))

fnames = [glob.glob('{}/*.jpg'.format(d)) for d in dnames]
fnames = list(chain.from_iterable(fnames))

labels = [os.path.basename(os.path.dirname(fn)) for fn in fnames]
dname = [os.path.basename(d) for d in dnames]
labels = [dname.index(l) for l in labels]
d = LabeledImageDataset(list(zip(fnames,labels)))

def transform(data):
    img,label = data
    img = resize(img,(500,500))
    return img,label

train = chainer.datasets.TransformDataset(d,transform)


#train---------

epoch = 10
batch = 5

model = L.Classifier(MyChain())
optimizer = optimizers.Adam()
optimizer.setup(model)

train_iter = iterators.SerialIterator(train,batch)
updater = training.StandardUpdater(train_iter,optimizer)
trainer = training.Trainer(updater,(epoch,'epoch'),out='result')

trainer.extend(extensions.dump_graph('main/loss'))
trainer.extend(extensions.snapshot(),trigger=(epoch,'epoch'))
trainer.extend(extensions.LogReport())
trainer.extend(extensions.PrintReport(['epoch','main/loss','main/accuracy']))
trainer.extend(extensions.ProgressBar())
trainer.extend(extensions.PlotReport(['main/loss'],'epoch',file_name='loss.png'))
trainer.extend(extensions.PlotReport(['main/accuracy'],'epoch',file_name='accuracy.png'))

trainer.run()

serializer.save_npz("mymodel.npz",model)

Comments

[meg_]

> プログラムを実行するとクラッシュします。
”クラッシュ”とはどういうことでしょうか？

[aho_tarou]

文字通りgoogle colaboratory上で「クラッシュしました」としか出ません

[meg_]

メモリ不足の可能性はありませんか？

[aho_tarou]

画像のリサイズの大きさを小さくしたら通りました。
ありがとうございます

Answer 1

メモリ不足でクラッシュしていました。
画像のリサイズを500×500から256×256にしたら無事クラッシュしなくなりました。

Answer 2

Google Drive上に保存されない colab scratchpad という機能を使ってみてコードを試してみたのですが、まずchainercvがインストールされていないというメッセージが現れたので、

!pip install chainercv

をしました。

その後コードを実行したところ、以下のようなメッセージが現れました。

---------------------------------------------------------------------------
ZeroDivisionError                         Traceback (most recent call last)
<ipython-input-3-aaaba8e01b53> in <module>()
     74 trainer.extend(extensions.PlotReport(['main/accuracy'],'epoch',file_name='accuracy.png'))
     75 
---> 76 trainer.run()
     77 
     78 serializer.save_npz("mymodel.npz",model)

5 frames
/usr/local/lib/python3.6/dist-packages/chainer/iterators/serial_iterator.py in epoch_detail(self)
     94     @property
     95     def epoch_detail(self):
---> 96         return self.epoch + self.current_position / self._epoch_size
     97 
     98     @property

ZeroDivisionError: division by zero

Comments

[aho_tarou]

そのエラーはデータセットを作成できていないときに出ると思うのですが、ファイルの配置はどのようにして実行しましたか？