センサの値から機械学習（深層学習）してラベルを判別するシステムを作りたい。

前提・実現したいこと

sony Neural Network consoleを使って機械学習するシステムについて。
時間により値が変化するセンサを二つ用いて機械学習するシステムを作りたい。
センサの出力値とラベルが下の図のように与えられたものを20個ずつぐらい用意しました。
まずは簡単な機械学習を体験しようと思いこのようなデータにしました。
（ラベルが１のほうが波上の信号が一つ入っていて、ラベル０のほうが何も入ってないようなデータです。）

これと別に評価用のデータも20個用意して、下図のようなモデルに通し機械学習をしました。（入力が50,2となっているのは、時系列のセンサデータが50あり、そのセンサ２つあるので）

すると学習状況がこのようになり、うまくいってる気がしません。
学習がうまくいっているなら右肩下がりになるはず。

発生している問題・エラーメッセージ

これは何が問題なのでしょうか？
他の人のブログなどを参考にしているのですがいまいちよくわかっていません。
参考：http://cedro3.com/ai/neural-network-console-gesture/
参考；http://cedro3.com/ai/akb48-dl/

唯一気になるのは、ほかの人と比べてデータの値が小さいことぐらいです...

python

import nnabla as nn
import nnabla.functions as F
import nnabla.parametric_functions as PF

def network(x, y, test=False):
    # Input:x -> 50,2
    # Affine -> 1
    h = PF.affine(x, (1,), name='Affine')
    # Sigmoid
    h = F.sigmoid(h)
    # BinaryCrossEntropy
    h = F.binary_cross_entropy(h, y)
    return h

今後より発展させたプログラムを組んて行きたいのですが、（データ数やセンサを増やして、深層学習させる）
このままデータ数だけを増やしても上手くいかない気がして質問しました。
何を変えれば良いのでしょうか？
（バッチサイズは17です）