ニューラルネットを用いた回帰問題の解き方

Question

前提・実現したいこと

tensorflowを用いてニューラルネットで回帰問題を解こうとしています。
入力層が2次元だと仮定して、入力層[データ数,2]、中間層[2,2]、出力層[2,1]のような行列を作成して学習したいと考えています。
入力層→中間層への重みを1、中間層→出力層への重みを2とするとします。
この時の出力を関数で表したいのですが、単純にデータと重み1と重み2の行列の乗算で出せばよいのでしょうか。
というかそもそも回帰問題をニューラルネットで解くメリットは何ですか。
機械学習を始めたばかりで疑問点だらけなのですが、よろしくお願いします。

試したこと

ニューラルネットなしの回帰問題として学習をしてみました。(入力層[データ数,2]、出力層[2,1])
こちらは重みが1次元なので、出力は x1w1+x2w2 で表されるのはわかりました。
上記のように重みが中間層数の2次元などになってくると、よく分かりません。

Answer 1

1)モデルの構造について
質問の記載の通りにデータと重み1と重み2の行列の演算でもいいですし、hayataka2049さんのように活性化関数を挟み込んでも構いません。教科書的にいうと活性化関数を挟んだほうがいいのですが業務知識から見て不必要と思えば省いて構いません。例えば、気温とある商品の売り上げが線形の関係にあることが既知であれば活性化関数はなくても問題ないと思います。一方、一定の気温を超えたあたりから売り上げが鈍化するようなケースは活性化関数を加えたほうがうまくいきます。

2)回帰問題をニューラルネットで解くメリット
一番の理由は非線形問題にうまく対応することがあげられます。実際にはランダムフォレストなどの方法もありますが、GLMに比べれば非線形問題の精度は高くなるかと思います。また、回帰問題の特殊なケースである時系列モデルにもニューラルネットは対応できます。つまり、あらゆるケースについて適正な層を組み込めばなんとかなるという点がメリットではないでしょうか

Comments

[OOZAWA]

> 例えば、気温とある商品の売り上げが線形の関係にあることが既知であれば活性化関数はなくても問題ないと思います。

このような連結であれば、等価的に合併されちゃって一つの層になるのです。意味がないでは？
N層の線形連結は結局２層しかない線形連結と等価です。
こんな多層を設けても訓練時間かかる以外意味がないですね。
ーーー私の勘違いであれば、ご指摘いただきたいと思います。

[R.Shigemori]

oozawaさん
多層化する狙いのひとつに「元のインプットデータから本質的な特徴量を取り出す」というものがあります。これは1000次元のデータを100次元にまとめるというものや、反対に10次元のデータから100次元の特徴量に展開するというものを意味しています。こうしたアプローチが必要なタスクの場合、多層化する意味はそれなりにあります。

Answer 2

中間層と出力層の活性化関数を考慮する必要があります。手順としては入力と中間層重み行列の掛け算をして活性化関数にかけたものを中間層の出力とし、中間層の出力と出力層重み行列の掛け算をして活性化関数にかけたものが出力層の出力になります。

詳細はこちらのページなどがわかりやすいので参考にしてください。

誤差逆伝播法における行列演算まとめ - Qiita