質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.62%

chainerでのStopiterationを回避するには?

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 695

KazuyaKojima

score 16

現在CNNを用いた株価騰落の分類を行うモデルを作成しています。
以前まできちんと動作していたのですがある時から急に
StopIterationのエラーが出て2回目以降の学習を繰り返してくれなくなりました。
調べてみても原因が全く分からず困っております。

以下エラー全文です
epoch       main/loss   main/accuracy  validation/main/loss  validation/main/accuracy  elapsed_time
1           20.1328     0.509596       0.692708              0.526667                  605.443       
Exception in main training loop: 
Traceback (most recent call last):
File "/Users/kojimakazuya/anaconda3/lib/python3.7/site-packages/chainer/training/trainer.py", line 316, in run
update()
File "/Users/kojimakazuya/anaconda3/lib/python3.7/site-packages/chainer/training/updaters/standard_updater.py", line 175, in update
self.update_core()
File "/Users/kojimakazuya/anaconda3/lib/python3.7/site-packages/chainer/training/updaters/standard_updater.py", line 180, in update_core
batch = iterator.next()
File "/Users/kojimakazuya/anaconda3/lib/python3.7/site-packages/chainer/iterators/serial_iterator.py", line 75, in next
raise StopIteration
Will finalize trainer extensions and updater before reraising the exception.
Traceback (most recent call last):
File "cnn.py", line 67, in <module>
trainer.run()
File "/Users/kojimakazuya/anaconda3/lib/python3.7/site-packages/chainer/training/trainer.py", line 349, in run
six.reraise(*exc_info)
File "/Users/kojimakazuya/anaconda3/lib/python3.7/site-packages/six.py", line 693, in reraise
raise value
File "/Users/kojimakazuya/anaconda3/lib/python3.7/site-packages/chainer/training/trainer.py", line 316, in run
update()
File "/Users/kojimakazuya/anaconda3/lib/python3.7/site-packages/chainer/training/updaters/standard_updater.py", line 175, in update
self.update_core()
File "/Users/kojimakazuya/anaconda3/lib/python3.7/site-packages/chainer/training/updaters/standard_updater.py", line 180, in update_core
batch = iterator.next()
File "/Users/kojimakazuya/anaconda3/lib/python3.7/site-packages/chainer/iterators/serial_iterator.py", line 75, in next
raise StopIteration
StopIteration

import matplotlib.pyplot as plt
import load_data
import stock_data
import img_to_vector
import load_vector
import numpy as np
from sklearn.preprocessing import MinMaxScaler
import chainer
import chainer.links as L
import chainer.functions as F
from chainer import Chain, Variable, datasets, optimizers
from chainer import report, training
from chainer.training import extensions
from chainer import iterators
from chainer import serializers
import chainer.cuda

#データの準備
sp500, topix500, usd_jpy = load_vector.load_vector()
x_train, x_test = topix500[:2000], topix500[2000:]

t_train, t_test = load_data.label(stock_data.teacher_dataset()[:2000]), load_data.label(stock_data.teacher_dataset()[2000:])

train = list(zip(x_train, t_train))
test = list(zip(x_test, t_test))

class CNN(Chain):
    def __init__(self):
        super(CNN, self).__init__()
        with self.init_scope():
            self.cn1 = L.Convolution2D(None, 32, ksize=3, pad=1)
            self.cn2 = L.Convolution2D(None, 32, ksize=3, pad=1)
            self.fc1 = L.Linear(None, 100)
            self.fc2 = L.Linear(100, 2)

    def __call__(self, x, t=None):
        h1 = F.max_pooling_2d(F.relu(self.cn1(x)), ksize=2, stride=2)
        h2 = F.max_pooling_2d(F.relu(self.cn2(h1)), ksize=2, stride=2)
        h3 = F.dropout(F.relu(self.fc1(h2)))
        return self.fc2(h3)


model = CNN()
net = L.Classifier(model)
optimizer = optimizers.Adam().setup(net)

batchsize = 20
train_iter = chainer.iterators.SerialIterator(train, batchsize, repeat=False, shuffle=True)
test_iter = chainer.iterators.SerialIterator(test, batchsize, repeat=False, shuffle=True)

updater = training.StandardUpdater(train_iter, optimizer, device=-1) # device=-1でCPUでの計算実行を指定

epoch = 100
trainer = training.Trainer(updater, (epoch, 'epoch'), out='result')

# テストデータで評価
trainer.extend(extensions.Evaluator(test_iter, net, device = -1))

# 学習を記録
trainer.extend(extensions.LogReport(trigger=(1, 'epoch')))

# グラフに描画、保存
trainer.extend(extensions.PlotReport(['main/loss', 'validation/main/loss'], x_key='epoch', file_name='cnn2_loss.png'))
trainer.extend(extensions.PlotReport(['main/accuracy', 'validation/main/accuracy'], x_key='epoch', file_name='cnn2_accuracy.png'))
trainer.extend(extensions.PrintReport(['epoch', 'main/loss', 'main/accuracy','validation/main/loss', 'validation/main/accuracy','elapsed_time']), trigger=(1, 'epoch'))

trainer.run()
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

check解決した方法

0

iterの箇所のrepeat引数をTrueに変えると治りました。
そういえばshuffleをtrueに変えた時にrepeatの意味を理解せずにtest同様にfalseにしてしまっていた。
repeatは繰り返しをするかどうか、ですね。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.62%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る