Q&A
> 全国各地から集めた12年分の月毎の気温データ
は、それぞれの場所に付いて、12年x12ヵ月=144個のデータがあるのですか？
もしそうなら、たくさんの場所の内の一つの場所だけで
> データの形状は12年×12ヶ月と気温データを並べて(1,12,12)
となると思うのですが、別の場所のデータは、どのように格納しているのですか？
学習する際は、一つの場所のデータだけ使うのですか？
前提・実現したいこと
現在、畳み込み層を使用した時系列予測のモデルを作成しています。
しかし、全結合だけのモデルと比べると格段に精度が落ちます。
色々調べて、重みの初期値、フィルターの大きさ、学習率など変更してみましたが依然、精度は悪いままです。
正規化しているにも関わらず大体二乗和誤差が4.0に収束します。
問題点のご指摘、精度を上げるアドバイスをお願い致します。
初心者の為、わかりやすく教えて貰えると助かります。
当方、プログラミング言語はpythonを使用しております。
具体的に話します。
使用するデータは、全国各地から集めた12年分の月毎の気温データです。
データの個数は約20,000個です。
データの形状は12年×12ヶ月と気温データを並べて(1,12,12)です。
CNNの構造は
1、畳み込み層
(フィルターの数10、フィルターの大きさ55、パディング0、ストライド1)
2、pooling層
(22のmaxpooling)
3、Relu
4、全結合層
5、Relu
6、全結合
7、恒等関数
と言う具合です。
keras を使用したいのですが、ボスからお達しもあり自作でCNNを作らなければいけません。
構造上や考え方での問題点など、些細なことでもご指摘頂けるとありがたいです。
よろしくお願い致します。
発生している問題・エラーメッセージ
エラーメッセージ
該当のソースコード
ソースコード
試したこと
フィルターの大きさを1、3、5、7、9、11で試しました。
重みの初期値 Relu関数を活性化関数に使用しているためHeの初期値を使用しました。
学習率を0.1、0.01、0.001、0.0001を試しました。
損失関数は二乗和誤差を使用していますが、3.0〜4.0で収束します。
補足情報（FW/ツールのバージョンなど）
ここにより詳細な情報を記載してください。
> keras を使用したいのですが、ボスからお達しもあり自作でCNNを作らなければいけません。
一旦kerasで作って、うまくいってから自作コードに置き換えていったらいかがでしょうか？
現状のやり方だと、いろんな可能性があって、よく分からないですよね
・入力データの作り方がおかしい
・ネットワーク構成が適切ではない
・ネットワークを構成する各層のコードにバグが有る
・学習パラメータが適切ではない
・学習のコードにバグが有る
(他にもあるかも)
あるいは、自作CNNを、mnistで分類できるように改造(入力の画素数を合わせる、出力を10クラスに)して、そこそこ精度が出るか確認してみるとか
それが大丈夫なら、バグの可能性は減ります
12x12のデータで
> フィルターの大きさ5*5、パディング0
だと、端(最初と最後の年、最初と最後の月)付近のデータの寄与が減ってしまうので、パディングを入れた方がいいのではないでしょうか？？
あ、でも、
> フィルターの大きさを1、3、5、7、9、11で試しました。
フィルターの大きさ1だと、入力データ全体に同じ係数がかかるだけなので、実質何もしてないですよね
その場合は、パディングは要らないですよね
それでも精度が落ちるのなら、プーリング層が悪さしてるのかなぁ
何だろう
畳み込みとプーリングのサイズをどちらも1にして、つまりその層はあるけど実質効果無い(入力に係数掛かるだけでそのまま出てくる)状態にしたら、層数が同じで全結合だけの場合と同じくらいの精度になると思うのですが、実際そうなるのでしょうか？
もし上記で同程度の精度になるなら、そこからプーリングを2x2にするだけで精度が落ちてしまう、ということになりますよね
ボスと相談したほうが信頼関係も築けてよいのでは……
jbpb0さん
パディングは試していませんでした試してみます！
A_kisisakiさん
ボスに相談しているのですが、ボスも専攻ではない為苦戦している状況です????
jbpb0さん
全結合だけの場合と同じ程度の精度にならなかったのはpooling層を挟んでしまっていたからでした????
今のデータの形だと、12月と1月が連続して関連しているという情報を捨ててますよね
翌年の前半を12月の後につなげる、とかした方がいいかも(年の前半が2回データに入りますが)
二点気になったことがあるのでコメントします。
①時系列予測と聞くと回帰型ニューラルネットワーク（RNN）を想像しますが、今回は RNN を使用せず畳み込み層と全結合層のみで構築した CNN で予測したいということですかね。
もし CNN にこだわりが無ければ、RNN（LSTM など）を利用すると精度が上がるかもしれません。
※入出力データの構造や解決したい課題に依るので、RNN を用いても必ず精度が上がるわけではありません。
②自作といっても色々なレベルがあると思いますが、keras を利用しないということなので、ご自身で畳み込み層などを実装しているということですかね。
そうであれば、ご質問の内容というよりは自作に関して、例えば『ゼロから作るディープラーニング』という書籍が実装の参考になるかと思います。
書籍の情報が掲載された URL を以下に示します：
https://www.oreilly.co.jp/books/9784873117584/
Surprisさん
貴重なご意見ありがとうございます！
データの形状が3次元(1,12,12)ということもあり、時系列の連続性を壊しているかもしれないので精度が悪いままかもしれませんが検討してみたいと思います。
さっそく、紹介していただいた書籍を注文してみました＾＾
0416namazu 様
先ほど提供した情報がお役に立てば幸いです。
他の方のコメントも拝見して、他に気になったことを２点記します。
1. 何を予測したいか。
入力は12年x12か月の気温データで良いとして、何を予測されるのでしょうか。
例えば 2009年～2020年の12年分のデータを 12x12 の配列データとして入力し、2021年の気温を予測されるのでしょうか。
2. 約 20,000 個のデータはどういう内訳か。
全国の約 20,000 箇所の地点のデータが１セットずつあるということでしょうか。
それとも全国各地のデータが数個以上あり、それらを総合すると 20,000 個前後あるということでしょうか。
以下、関連記事の共有です。
もし CNN と RNN を併用されるのであれば、例えば以下の記事が参考になるかもしれません。
『LSTM/RNNとCNNの組み合わせ（はてなブログ）』：http://neuralnet.hatenablog.jp/entry/2016/07/27/065031
『【深層学習】CNNとRNNを組み合わせてみた（Qiita）』：https://qiita.com/God_KonaBanana/items/a6ee73cf0110c044815b
また、すでにご覧になっているかもしれませんが、気候変動や気温の予測に関する記事をいくつか共有いたします。
『ディープラーニングで気候変動を予測（京大論文の追試）（Qiita）』：https://qiita.com/takedarts/items/e4dffa6f1946361d2098
『LSTMで1か月の平均気温を予測する（Qiita）』：https://qiita.com/nvtomo1029/items/689c0a19880d1dc41d43
『[Deep Learning解析] 第二回 天気予報によりRNN（Qiita）』：https://qiita.com/Merdane/items/2c5232681a27a0d340ef
Surprisさん
情報提供本当にありがとうございます！
本当に助かります＾＾
1 : 2009〜2020までので気温データを使用して翌年の気温を予測したいと考えています。
2 : 全国のデータを総合するとデータ数が約20000こになります。
予測を高精度に行うには大量のデータが必要だと思いますが、補完と欠損値を除去する処理をするとどうしてもデータ数が減ってしまいます????
↑1の補足です。
2008〜2019年など色々なデータを使用して翌年の気温を予測したいと考えています。
言葉でやりとりしても細かい状況がわかりませんので、KerasでもPyTorchでも既存のフレームワークで実装してみて、コードを出して相談ください。そこまで出来てから、独自開発に移行するとよいでしょう。
回答1件
0
keras を使用したいのですが、ボスからお達しもあり自作でCNNを作らなければいけません。
一旦kerasで作って、うまくいってから自作コードに置き換えていったらいかがでしょうか？
現状のやり方だと、いろんな可能性があって、よく分からないですよね
・入力データの作り方がおかしい
・ネットワーク構成が適切ではない
・ネットワークを構成する各層のコードにバグが有る
・学習パラメータが適切ではない
・学習のコードにバグが有る
(他にもあるかも)
全結合だけのモデルと比べると格段に精度が落ちます。
フィルターの大きさを1、3、5、7、9、11で試しました。
畳み込みとプーリングのサイズをどちらも1にして、つまりその層はあるけど実質効果無い(入力に係数掛かるだけでそのまま出てくる)状態にしたら、層数が同じで全結合だけの場合と同じくらいの精度になると思うのですが、実際そうなるのでしょうか？
もし上記で同程度の精度になるなら、そこからプーリングを2x2にするだけで精度が落ちてしまう、ということになりますよね
投稿2021/02/28 14:49
総合スコア7653
あなたの回答
tips
プレビュー
