機械学習で色を識別させたい

Question

###やりたいこと

pythonの機械学習ライブラリを使って、
画像から文字の色で認識させたい。

例）青色の100200という文字を認識して、100200というテキストを出力したい

出力したときは、テキストの色は黒でもいい。
とにかく、青色のテキストを認識させたい。

###知りたいこと
・機械学習でテキストの色で認識させる方法
![

このような画像から
青色の数字のみを認識して、
なおかつ、コマンドラインに出力させたい

###自分の考えている方法
0 . 画像から青くなっているところ（複数箇所ある）を認識させる
1 . 認識箇所のみをそれぞれ文字認識にかける
2 . 認識した文字を出力する。

上記の手順でやろうと考えています。
その中で、番号0の手順でどうしても色で認識させたいのです。

なので、色認識の方法が何かあれば教えてください。
そのほか、私の考えている方法で、
間違っていることや、何か付け足すことなどありましたら教えてください。

Comments

[hayataka2049]

質問文の日本語がわかりづらく、説明もざっくりしていて、何をしたいのかがよくわかりません。もう少しわかりやすく書くと回答がつきやすいと思います

[shiron46]

どんな画像を対象にするのでしょうか？認識したい文字色が完全な青(#0000ff)か、そうでないかによっても方法は変わります。例となる画像などがあると分かりやすくなると思います。

[jun_endo]

編集しました確認お願いします。

Answer 1

目的が複数書かれていますが、とりあえず「青色のテキストを認識させたい。」について回答します。
対象が非常に理想的な画像なので、機械学習を使う必要はないと思います。

その中で、番号0の手順でどうしても色で認識させたいのです。

については、画素が青(というより水色っぽいので[R, G, B]=[0, 128, 255]あたり）に近いなら黒、そうでなければ白、といった具合に2値化するだけで抽出できます。
あとは輪郭検出をしてあげれば数字の認識に使えるのではないでしょうか。

---

上述した方法で2値化した対象画像です。
多少のJPEGノイズはありますが、ほぼ問題なく抽出できています。

---

使用したコード

import cv2
import numpy as np


def extract_by_colors(img_in, r, g, b, margin):
    # 取得する色の範囲を指定
    lower_r = max(r - margin, 0)
    upper_r = min(r + margin, 255)
    lower_g = max(g - margin, 0)
    upper_g = min(g + margin, 255)
    lower_b = max(b - margin, 0)
    upper_b = min(b + margin, 255)
    lower = np.array([lower_b, lower_g, lower_r])
    upper = np.array([upper_b, upper_g, upper_r])

    # 指定した色に基づいてマスク画像を作成し、元画像をマスク
    img_out = cv2.bitwise_and(img_in, img_in, mask=cv2.inRange(img_in, lower, upper))

    # 2値化
    img_gray = cv2.cvtColor(img_out, cv2.COLOR_RGB2GRAY)
    dummy, img_out = cv2.threshold(img_gray, 50, 255, cv2.THRESH_BINARY_INV)

    return img_out


if __name__ == "__main__":
    img_in = cv2.imread("input.jpg")
    img_out = extract_by_colors(img_in, 0, 128, 255, 127)
    cv2.imwrite("output.jpg", img_out)

Comments

[jun_endo]

これはOpenCVを使っていますか？
私がいろいろ調べたところ、OpenCVの方法しか見つからなかったので、、、
もしよければ、変換したときのプログラムを
見せていただけないでしょうか？
自分なりに解釈して、うまく活用したいです。

[shiron46]

OpenCVを使っています。使った方が楽なので。

コードは載せておきましたので良ければ参考にしてみてください。
やっつけ感は否めないですが、ちゃんと動くはずです。

[jun_endo]

ありがとうございます。
参考にさせていただきます。