kerasで学習したモデルを実際に試す方法

Question

書籍を参考にしてkerasを使ってXOR回路を計算させるコードを書いてみました。

import numpy as np
from keras.models import Sequential
from keras.layers import Activation, Dense
from keras.optimizers import SGD

np.random.seed(0)

model = Sequential()
model.add(Dense(input_dim=2, units=1))
model.add(Activation('sigmoid'))

model.compile(loss='binary_crossentropy', optimizer=SGD(lr=0.1))

#XOR
X = np.array([[0,0],[0,1],[1,0],[1,1]])
Y = np.array([[0],[1],[1],[0]])

model.fit(X, Y, epochs=200, batch_size=1)

#学習結果の確認
classes = model.predict_classes(X, batch_size=1)
prob = model.predict_proba(X, batch_size=1)

print('classified:')
print(Y == classes)
print()
print('output probability:')
print(prob)

#出力結果
#classified:
#[[False]
# [ True]
# [ True]
# [False]]
#
#output probability:
#[[ 0.50147235]
# [ 0.50298554]
# [ 0.50041449]
# [ 0.50192779]]

そこでいくつか質問があります。

チュートリアルによれば、
predict_classesとpredict_probaは「クラスの予測」と「確率の予測値」とありますが、これが具体的何を指すのかがわかりません。「確率の予測値」というのは、その学習したモデルに[0,0]などと入れて正しく「0」と返ってくる確率が50.147325%ということなのでしょうか（つまり全然学習できていない（！？））。「クラスの予測」に関しては想像つかないくらいわかっていません・・。

2.またどのくらい学習できているかを可視化するために、
未学習時のモデルに[0,0]を入れて計算させると何が出力されるか、
100エポック目のモデルに同じように計算させると何が出力されるか、
そして学習が終わった後に[0,0]とか[0,1]とかを入れて計算させると何が出力されるのか。
といったものを出力するためのメソッドはkerasに用意されていますでしょうか。
実際に学習しているqiitaなどを見ても上記のように確率（？）を出して終わっています。

勉強不足で、もっと基礎的なところでものすごく大きな誤解をしていて、だいぶ的外れな質問をしているかもしれません。

質問が多いですが、よろしくお願いします。

Answer 1

学習の程度の見方

model.compile(loss='binary_crossentropy', optimizer=SGD(lr=0.1), metrics=['accuracy'])
こちらで実行して出力を見てください。
精度が良くて50%でほとんど学習できていません。
むしろ75%になってから下がっているので学習のさせすぎかもしれません。
学習のし過ぎで精度が下がることは結構あるそうです。
一度の学習の強さを下げてptimizer=SGD(lr=0.001)のようにしたり、fitでの学習回数(エポック数)を減らすと良いでしょう。

結果について

#出力結果
#classified:
#[[False]
# [ True]
# [ True]
# [False]]
#
#output probability:
#[[ 0.50147235]
# [ 0.50298554]
# [ 0.50041449]
# [ 0.50192779]]

こちらについては、上は成否判定、下は予測結果です。

予測結果を0か1に分類するのがclassesです。
0.5をしきい値にしている場合、0.5以下なら0で、0.5超なら1です。
この場合は==で成否判定をしているので、
[0,0] => 1
[0,1] => 1
[1,0] => 1
[1,1] => 1
と予測していることがわかります。

予測結果は、しきい値を超えるか超えないかで判断されるもので、成功率(学習モデルの精度)とは別物です。
0.51でしたら、
51%の自信で答えは１で、49%の自信で答えは0だ、ということです。
0.5(決めたしきい値)に近いほど、中立的になります。
学習が弱くすぐに別の意見に切り替わりやすいですし、しきい値の変更によっても意見が変わりやすいということになります。

実際の予測結果が見たい

そして学習が終わった後に[0,0]とか[0,1]とかを入れて計算させると何が出力されるのか。

といったものを出力するためのメソッドはkerasに用意されていますでしょうか。

前項で説明したとおり、もうすでに見れています。
すべてではなく単体で確認したい場合は次のように指定します。

# 2値(0 or 1)
model.predict_classes(np.array([[1,1]]), batch_size=1)
# 学習の程度(0.0~1.0)
model.predict_proba(np.array([[1,1]]), batch_size=1)
# もしくは
model.predict(np.array([[1,1]]), batch_size=1)

二値分類

それとシグモイド関数ですが、こちらに説明があるとおり
http://tkengo.github.io/blog/2016/06/04/yaruo-machine-learning5/
直交座標系でy=ax+b直線を引いて2値分類するイメージです。
XORでは次のようになります。(雑ですみません)

改良しても結果が0.75を超えない理由がわかりますね。
ここにどんな線を引いても0と1を分類できないでしょう。
もっと層を増やしたりしたらわかりませんが、シグモイド関数単体でしたらORやANDから始めることをおすすめします。

ちなみに、同じアルゴリズムでANDとORの予測をするモデルで、エポック数を10、学習の強さlr=1にしたらどちらも精度が1.00になりました。