質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

89.13%

DeepLearningで書かれた数字を当てたい

解決済

回答 3

投稿 編集

  • 評価
  • クリップ 1
  • VIEW 770

tasuke

score 49

現在、Deep Learningの学習をしています。サンプルコードを自分なりに変え、学習した後にwebカメラからの入力画像を分類し表示された数字が何かを当てるというものにしましたつもりです。また、正答確率は85 %近辺です。しかし、実際に動かしてみるとエラーこそ出ないもののプログラムが一向に数字を当ててくれません。
私はDeep Learningの学習を始めたばかりのため、原因が分かりませんでした。モデルの正答率に対して実際にモデルの画像を分類させたときの正答率が低い原因を教えていただきたいです。

import cv2
from PIL import Image
from keras.models import load_model
import numpy as np
import matplotlib.pyplot as plt
from keras.datasets import mnist
from keras.layers import Activation, Dense, Dropout
from keras.models import Sequential, load_model
from keras import optimizers
from keras.utils.np_utils import to_categorical

(X_train, y_train), (X_test, y_test) = mnist.load_data()

X_train = X_train.reshape(X_train.shape[0], 784)[:6000]
X_test = X_test.reshape(X_test.shape[0], 784)[:1000]
y_train = to_categorical(y_train)[:6000]
y_test = to_categorical(y_test)[:1000]

model = Sequential()
model.add(Dense(280, input_dim=784))
model.add(Activation("sigmoid"))
model.add(Dense(128))
model.add(Activation("sigmoid"))
model.add(Dropout(rate=0.5))
model.add(Dense(10))
model.add(Activation("softmax"))

sgd = optimizers.SGD(lr=0.01)
model.compile(optimizer=sgd, loss="categorical_crossentropy", metrics=["accuracy"])
model.fit(X_train, y_train, batch_size=32, epochs=10, verbose=1)

score = model.evaluate(X_test, y_test, verbose=0)
print("evaluate loss: {0[0]}\nevaluate acc: {0[1]}".format(score))

cap = cv2.VideoCapture(1)

while True:

    ret, frame = cap.read()
    gray = cv2.cvtColor(frame, cv2.COLOR_RGB2GRAY)

    cv2.imshow('preview', frame)
    key = cv2.waitKey(10)
    if key == ord("s"):
        path = "photo.jpg"
        cv2.imwrite(path,gray)

        img = np.array(Image.open('photo.jpg'))
        width,height=28,28
        img2 = cv2.resize(img,(width,height))
        data = img2.reshape(1, 784)  
        res = model.predict([data])
        y = res.argmax()  
        rabel = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
        print("Prediction is ", rabel[y])

    if key == ord("q"):
        break
コード

以下が被分類画像のimg2です。
webカメラにより取り込みリサイズした画像

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 3

checkベストアンサー

+2

チャンネルの並び順

OpenCV で画像を読み込んだ場合は、チャンネルの並び順は BGR です。
なので、以下のようにするべきです。

cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

私はDeep Learningの学習を始めたばかりのため、原因が分かりませんでした。モデルの正答率に対して実際にモデルの画像を分類させたときの正答率が低い原因を教えていただきたいです。

MNIST と画像の性質が異なるような場合、精度がでないことが考えられます。
推論しようとしている画像 img2 がどのような画像か cv2.imwrite() で保存して、質問欄に貼ることはできますか?

 追記

イメージ説明
質問者さんが推論しようとしている画像

イメージ説明
MNIST の画像

見ていただければわかると思いますが、推論しようとしている画像が学習にしようした MNIST の画像と性質が大きく異なっていますね。
多少の違いであれば大丈夫なのですが、学習したデータと性質が大きくかけ離れている場合、推論はうまくいかないでしょう。

以下のように、画像処理で見た目を MNIST の画像に近づけたところ、6 と正しく認識されました。

import cv2
import matplotlib.pyplot as plt

img = cv2.imread('test.jpg', cv2.IMREAD_GRAYSCALE)
img = cv2.resize(img, (28, 28))

# 表示
plt.imshow(img, cmap='gray')
plt.show()

img = cv2.bitwise_not(img)  # ネガポジ反転
_, img = cv2.threshold(img, 110, 255, cv2.THRESH_TOZERO)  # 110 未満の輝度値を0
img = cv2.morphologyEx(img, cv2.MORPH_DILATE, np.ones((2, 2), np.uint8))  # 膨張演算で白い線を太くする。

# 表示
plt.imshow(img, cmap='gray')
plt.show()

x = img.reshape(1, -1)  # (H, W) -> (1, H * W)
pred_label = model.predict_classes(x)
print(pred_label)  # 推論結果 6

イメージ説明
前処理した結果

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/10/22 20:05

    回答ありがとうございます。編集して載せさせていただきます。

    キャンセル

  • 2018/10/22 20:31

    学習したデータと性質が大きくことなるため、推論がうまくいっていませんでした。OpenCV で前処理をし、MNIST の見た目に近づけてあげると、正しく6と推論できることが確認できました。

    キャンセル

  • 2018/10/23 10:07

    回答ありがとうございます。回答者さんのコードを参考にして書き直した結果、推論の成功率は上がりました。画像の前処理について学習していきたいと思います。

    キャンセル

+2

画像をflattenして全結合層に入れるというアプローチなので、ちょっとしたズレが生じただけでもまったくうまくいきません。

mnistはそれなりに一定の範囲に画像が収まるようなデータになっていますが、webカメラでは期待できないでしょう。

また、グレースケール化・縮小した画像がmnistのデータと同じような値の範囲になっているのかも実はよくわかりません。

一枚画像を掲載していただくと判断しやすいのですが。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/10/22 20:19

    回答ありがとうございます。自分で作った画像の分類を行うことへのアプローチについてですが、私が参考にしている本、見つけたサイト等にはモデルの正答率を出し上げる方法までしか載っていなかったため、少ない知識で考え自分なりに見つけたものになり正直自信はありません。もっと良い方法、また、一般的に取られている方法について参考にできる資料等あれば、教えていただけるとありがたいです。
    長文かつ分かりずらくなってしまい申し訳ありません。

    キャンセル

  • 2018/10/22 21:01

    深層学習で画像系のタスクであれば、CNN(畳み込みニューラルネットワーク)と呼ばれるような構造のネットワークを使うのが一般的です
    mnist程度ならCNNに頼らずともある程度は解ける、という事実もありますが、知っておいて損はしないかと
    参考:
    http://tekenuko.hatenablog.com/entry/2017/07/23/195321

    キャンセル

  • 2018/10/23 10:08

    返答ありがとうございます。CNNについて学習してみたいと思います。

    キャンセル

+1

嫌味な回答になってしまいますが、DeepLearningを試しているだけで学習にはなっていないかと、(DeepLearningそのものは学習しているかもしれませんが)。
回答者さんの考察のように、DeepLearningの仕組みを学んで(できれば応用もできて)こそ、それを学習しているといえるかなーと思います。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/10/23 10:21

    回答ありがとうございます。私は生物系の学生なのですが4年になった現在、研究室の教授にDeep Learningを導入したいと言われ急きょこの分野の勉強もしなくてはならなくなりました。そのうえ、自分の研究でもある程度の結果を残さなければいけないため時間の方が…ただ、あなたのおっしゃる通りです。もっといろいろ調べたり本を読んだりして、少なくとも最低限の知識は身に付けるようにします。

    キャンセル

  • 2018/10/23 11:35 編集

    そうでしたか、それはかなり大変そうです。私の回答は自虐的なもので、勉強してるつもりで、ただ、用意されてたものを試して遊んでただけで、応用出来てなかった(実際に研究に適用するための知識を得られていなかった)時期があったので、このように書いてみた次第です。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 89.13%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる