深層学習でR2がマイナスになってしまう

Question

前提・実現したいこと

データ数が 100 前後の深層学習で回帰を行なっておりますが、
決定係数(R2)がマイナスの値になってしまいます。

発生している問題・エラーメッセージ

平均二乗誤差や二乗平均平方根誤差は 10-1 から 10-2 オーダーまで下がってくるのですが、 R2 がマイナスの値を示してしまっております。
確認のために train, val, test データの予測値を実測値に対してそれぞれプロットしてみましたところ、実測値に対して予測値が横に一直線になってしまっておりました (train,val,testの予測値が全ての値 (一定値))。

エラーメッセージ

該当のソースコード

ソースコード

試したこと

改善するために最適化関数として
Adam, RMSProp, SMORMS2, CorrectedMomentumSGD を用いてみましたが同様の結果でした(これらのハイパーパラメータのチューニングは Optuna を利用して行なっております)。

いろいろ調べてみますとデータのカラムの数が少ないとこの状態になりやすいとの情報がありましたので、いくつかの特徴量をconcatをして再度試してみましたが同様の結果となってしまいました。

補足情報（FW/ツールのバージョンなど）

深層学習フレームワークとしては Chainer を用いております。

Answer 1

決定係数でr2_scoreを使用している時は、1から結果を引くので値によってはマイナスになります。
Excelに合わせたい時など相関の二乗を出したい時は、corrcoefを二乗してください。

scikit-learn で回帰モデルの結果を評価する
決定係数R2の誤解：必ずしも相関の２乗という意味でなく，負にもなるし，非線形回帰には使えない