質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
Chainer

Chainerは、国産の深層学習フレームワークです。あらゆるニューラルネットワークをPythonで柔軟に書くことができ、学習させることが可能。GPUをサポートしており、複数のGPUを用いた学習も直感的に記述できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

解決済

chainerで実装したLSTMの学習がうまくいかない

sodiumplus3
sodiumplus3

総合スコア49

Chainer

Chainerは、国産の深層学習フレームワークです。あらゆるニューラルネットワークをPythonで柔軟に書くことができ、学習させることが可能。GPUをサポートしており、複数のGPUを用いた学習も直感的に記述できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

1回答

0評価

0クリップ

2903閲覧

投稿2019/05/01 18:06

編集2019/05/02 16:26

###chainerでLSTMを実装してsin波を学習したがうまくいかない
コードは以下です。分類でないのにclassifierでラップして実装しようとしているのでそこらへんで実装にミスがあると思うのですが…

import chainer import chainer.functions as F import chainer.links as L from chainer import training,optimizers,Variable import math import numpy as np from chainer.datasets import TupleDataset,split_dataset_random from chainer import iterators,serializers # データの生成 data = [] for i in range(10000): data.append(math.sin(i/100)) #データの整形・分割 x = [] t = [] for i in range(len(data)-5): x.append(data[i:i+1]) t.append(data[i+1]) x = np.array(x).astype('float32') t = np.array(t).astype('float32') t = np.array(t).reshape(len(t), 1) print(x.shape,t.shape) dataset = TupleDataset(x,t) n_train = int(len(dataset)*0.7) train,test = split_dataset_random(dataset,n_train,seed=1) # for i in range(len(test)): # print(test[i]) batch_size = 10 train_iter = iterators.SerialIterator(train,batch_size) test_iter = iterators.SerialIterator(test,batch_size,shuffle=False,repeat=False) class lstm(chainer.Chain): def __init__(self,n_mid=4,n_out=1): super(lstm,self).__init__() with self.init_scope(): self.l1 = L.Linear(None,n_mid) self.l2 = L.LSTM(n_mid,n_mid) self.l3 = L.Linear(n_mid,n_out) def reset_state(self): self.l2.reset_state() def __call__(self,x): h = self.l1(x) h = self.l2(h) h = self.l3(h) return h class LSTMUpdater(training.StandardUpdater): def __init__(self, train_iter, optimizer, device=-1): super(LSTMUpdater, self).__init__(train_iter, optimizer, device=device) # overrided def update_core(self): train_iter = self.get_iterator('main') optimizer = self.get_optimizer('main') batch = train_iter.__next__() X_STF, y_STF = chainer.dataset.concat_examples(batch, self.device) optimizer.target.zerograds() optimizer.target.predictor.reset_state() loss = optimizer.target(Variable(X_STF), Variable(y_STF)) loss.backward() optimizer.update() class LossSumMSEOverTime(L.Classifier): def __init__(self, predictor): super(LossSumMSEOverTime, self).__init__(predictor, lossfun=F.mean_squared_error) def __call__(self, X_STF, y_STF): """ # Param - X_STF (Variable: (S, T, F)) - y_STF (Variable: (S, T, F)) S: samples T: time_steps F: features # Return - loss (Variable: (1, )) """ # 時間 T で loop させるため、Tを先頭の軸にする X_TSF = X_STF.transpose(1,0,2) y_TSF = y_STF.transpose(1,0,2) seq_len = X_TSF.shape[0] # 各時刻についてlossをとり、最終的なlossに足していく loss = 0 for t in range(seq_len): pred = self.predictor(X_TSF[t]) obs = y_TSF[t] loss += self.lossfun(pred, obs) # loss の大きさが時系列長に依存してしまうので、時系列長で割る loss /= seq_len # reporter に loss の値を渡す reporter.report({'loss': loss}, self) return loss predictor = lstm() net = L.Classifier(predictor,lossfun=F.mean_squared_error) net.compute_accuracy = False optimizer = optimizers.Adam().setup(net) updater = LSTMUpdater(train_iter,optimizer,device=-1) from chainer.training.triggers import EarlyStoppingTrigger trigger = EarlyStoppingTrigger(monitor='test/main/loss',patients=3) trainer = training.Trainer(updater,trigger,out='results/lstm_result') trainer.extend(training.extensions.LogReport(trigger=(1,'epoch'),log_name='log')) trainer.extend(training.extensions.Evaluator(test_iter, net, device=-1), name='test') trainer.extend(training.extensions.PrintReport(['epoch','iteration','main/loss','test/main/loss'])) trainer.extend(training.extensions.PlotReport(['main/loss','test/main/loss'], x_key='epoch', file_name='loss.png')) trainer.run() serializers.save_npz('lstm.npz',net)

chainerに詳しい方、回答いただけると嬉しいです。よろしくお願いします。

###追記
うまくいかない、というのは良い予測ができないという意味です。明らかに簡単なデータなので、コードのモデルに何か問題があるのだろうと思っています。上記コードで学習したのち、以下のコードでテストしています。

import chainer import chainer.functions as F import chainer.links as L from chainer import training,optimizers import math import numpy as np from chainer.datasets import TupleDataset,split_dataset_random from chainer import iterators,serializers import matplotlib.pyplot as plt class lstm(chainer.Chain): def __init__(self,n_mid=4,n_out=1): super(lstm,self).__init__() with self.init_scope(): self.l1 = L.Linear(None,n_mid) self.l2 = L.LSTM(n_mid,n_mid) self.l3 = L.Linear(n_mid,n_out) def reset_state(self): self.l2.reset_state() def __call__(self,x): h = self.l1(x) h = self.l2(h) h = self.l3(h) return h loaded_net = L.Classifier(lstm()) chainer.serializers.load_npz('lstm.npz',loaded_net) data = [] x = 10 for i in range(x): data.append(math.sin(i/10)) data = np.array(data).astype('float32') true_data = [] for i in range(100): true_data.append(math.sin(i/10)) true_data = np.array(true_data).astype('float32') def make_data(data): l = np.zeros([1,1]).astype('float32') data = data[-10:] for i in range(len(l)): l[i] = data[i:i+1] return l # print(make_data(data)) for i in range(100-x): with chainer.using_config('train', False), chainer.using_config('enable_backprop', False): y = loaded_net.predictor.__call__(make_data(data)) # print(np.array(y.data).reshape(-1)) data = np.append(data,y.data.reshape(-1)[-1]) plt.plot(range(len(data)),data,label='lstm') plt.plot(range(len(true_data)),true_data,label='train_data') plt.legend() plt.show() # print(true_data)

結果は例えばこうなります。
イメージ説明

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

quickquip

2019/05/01 23:55

"うまくいかない"の内容を追記していただけるといいかと。(エラー? 性能が出ない?)
sodiumplus3

2019/05/02 16:16

コメントありがとうございます。追記します。

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Chainer

Chainerは、国産の深層学習フレームワークです。あらゆるニューラルネットワークをPythonで柔軟に書くことができ、学習させることが可能。GPUをサポートしており、複数のGPUを用いた学習も直感的に記述できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。