回答編集履歴
4
フォーマットの修正
answer
CHANGED
|
@@ -36,10 +36,11 @@
|
|
|
36
36
|
やり方は3種類あると思います。
|
|
37
37
|
- OCRする際に、画像をそのままのものと反転させたものを突っ込み、最後の文章としての認識具合をチェック：恐らく正攻法
|
|
38
38
|
- カード左下領域の情報を使う(左下にある四角部分をマーカーに使う）：汎用性低
|
|
39
|
-
- 画像として認識させる：お勧めしません（先の画像認識の下りの部分を参照ください）が、深層学習で対応するのであれば、データ増強の際に画像をゴリゴリ回転させたり反転させたりすることで対応できます
|
|
39
|
+
- 画像として認識させる：お勧めしません（先の画像認識の下りの部分を参照ください）が、深層学習で対応するのであれば、データ増強の際に画像をゴリゴリ回転させたり反転させたりすることで対応できます。
|
|
40
40
|
|
|
41
41
|
**照明の照りこみが激しい？)**
|
|
42
42
|
鏡面反射分が多いと画像処理（緑色領域の抽出、OCR精度）で不利になります。照りこみが減るような工夫（すりガラスのような濁ったものを証明の前に挟む、直接照らさずに、白い紙のようなものに一度反射させて間接照明にする、のような工夫をすることでだいぶ良くなると思います。
|
|
43
|
+
|
|
43
44
|
---
|
|
44
45
|
もし私がやるのであれば、
|
|
45
46
|
1. 色情報を使ってカード領域を抽出
|
3
追補２（照明）
answer
CHANGED
|
File without changes
|
2
追補２（照明）
answer
CHANGED
|
@@ -38,6 +38,8 @@
|
|
|
38
38
|
- カード左下領域の情報を使う(左下にある四角部分をマーカーに使う）：汎用性低
|
|
39
39
|
- 画像として認識させる：お勧めしません（先の画像認識の下りの部分を参照ください）が、深層学習で対応するのであれば、データ増強の際に画像をゴリゴリ回転させたり反転させたりすることで対応できます・
|
|
40
40
|
|
|
41
|
+
**照明の照りこみが激しい？)**
|
|
42
|
+
鏡面反射分が多いと画像処理（緑色領域の抽出、OCR精度）で不利になります。照りこみが減るような工夫（すりガラスのような濁ったものを証明の前に挟む、直接照らさずに、白い紙のようなものに一度反射させて間接照明にする、のような工夫をすることでだいぶ良くなると思います。
|
|
41
43
|
---
|
|
42
44
|
もし私がやるのであれば、
|
|
43
45
|
1. 色情報を使ってカード領域を抽出
|
1
追補
answer
CHANGED
|
@@ -1,9 +1,14 @@
|
|
|
1
1
|
情報を補足するような質問を書きましたが、暫定での解決策を書きます。
|
|
2
2
|
|
|
3
|
+
**修正1)**
|
|
4
|
+
質問欄の2点を反映させます。
|
|
5
|
+
- Q1 とりあえず百人一首のトイプロブレムが解ければOK
|
|
6
|
+
- Q2 基本は真上だけれども180°回転も可能なら対応したい
|
|
7
|
+
|
|
3
8
|
> 文字認識の精度をあげるにはどうしたらよいでしょうか？
|
|
4
9
|
|
|
5
10
|
**文字の認識面）**
|
|
6
|
-
恐らく、百人一首のフォントが通常のフォント（明朝・ゴシック）から離れている（行書寄り？）なことが一因だと
|
|
11
|
+
恐らく、百人一首のフォントが通常のフォント（明朝・ゴシック）から離れている（行書寄り？）なことが一因だと思います。OCRで攻めるのであれば、百人一首の文字は全てひらがななので、[ひらがなで自前データセットを作る](https://www.tdi.co.jp/miso/tesseract-ocr)のもありだと思います。
|
|
7
12
|
|
|
8
13
|
**画像の前処理）**
|
|
9
14
|
元の画像は人間が読むには十分正面の画像ですが、もう少し下準備をしてOCRに放り込んだ方が認識精度が上がりそうな気がします。具体的には、解析対象がカードですので、緑色の枠線で認識させて、領域を抽出、写っている[画像を射影変換して台形を長方形に修正させる](http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_imgproc/py_geometric_transformations/py_geometric_transformations.html)、です。
|
|
@@ -15,15 +20,25 @@
|
|
|
15
20
|
**1) 物体認識**
|
|
16
21
|
これが上記の「[物体認識によるカード位置の推定手法](http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_feature2d/py_feature_homography/py_feature_homography.html)」にあたります。たぶんAKAZEなどのアルゴリズムを使うことになると思いますが、文字や図形の角やでっぱり、曲がり具合のようなもの特徴を表す点として認識する方法です。回転や拡大縮小があったとしても、それぞれの対応する点は同じように回転や拡大縮小しながら（イメージ的には起点となる一点を中心に一直線に）つながるよね、という原理を使います。その一対一でつながる誤差が一番小さいものが推定するカードの内容となります。が、この物体認識は写真のような濃淡の勾配があるようなものに対して相当うまく働く（恐らく膨大な数の特徴点を抽出できる）はずですが、文字のような濃淡の極端なもの、線に近いもの、ではうまく行かなさそうな気もします。
|
|
17
22
|
|
|
18
|
-
深層学習を使って物体認識（セマンティックセグメンテーションだとかインスタンスセグメンテーションと呼びます）することもできますが、それができるのであれば直接１００クラスの画像認識問題にした方が筋が良さそうですね…
|
|
23
|
+
深層学習を使って物体認識（セマンティックセグメンテーションだとかインスタンスセグメンテーションと呼びます）することもできますが、それができるのであれば直接１００クラスの画像認識問題にした方が筋が良さそうですね…
|
|
19
24
|
|
|
20
25
|
**2) 画像認識**
|
|
21
26
|
画像を物体認識ではなく、特定のカードと限定して認識させようとすると、１００種類あるカードの模様（文字）を機会が認識できる解像度まで上げないといけません。すると、現実的な（機械が認識できる）解像度で処理させようとするとハードが追い付かない（計算が遅い？）が起きそうな気がします。特に深層学習の場合がそうです。できなくはないと思いますが、もっとスマートなやり方（例えばOCR）がありそうな気がします。
|
|
22
27
|
|
|
28
|
+
---
|
|
29
|
+
|
|
23
|
-
**文字列の認識精度)**
|
|
30
|
+
**文字列としての認識精度)**
|
|
24
31
|
OCRで解決しようとした場合、仮に独自データセットを作ったとしても「しるもしらぬもあふさかのせき」が「しろもしらめもあふきかのせさ」として認識されることもあるかと思います。こういった場合には、[文字列全体の一致度をデータベースの中身と比較](https://docs.python.org/ja/3/library/difflib.html)させると精度が挙げられそうですね。
|
|
25
32
|
|
|
26
33
|
---
|
|
34
|
+
|
|
35
|
+
**上下反転してもいける？)**
|
|
36
|
+
やり方は3種類あると思います。
|
|
37
|
+
- OCRする際に、画像をそのままのものと反転させたものを突っ込み、最後の文章としての認識具合をチェック：恐らく正攻法
|
|
38
|
+
- カード左下領域の情報を使う(左下にある四角部分をマーカーに使う）：汎用性低
|
|
39
|
+
- 画像として認識させる：お勧めしません（先の画像認識の下りの部分を参照ください）が、深層学習で対応するのであれば、データ増強の際に画像をゴリゴリ回転させたり反転させたりすることで対応できます・
|
|
40
|
+
|
|
41
|
+
---
|
|
27
42
|
もし私がやるのであれば、
|
|
28
43
|
1. 色情報を使ってカード領域を抽出
|
|
29
44
|
1.1 色情報での抽出がうまく行かない場合は、まずカードを物体認識で荒く抽出させた上で、限定した領域に対して色情報を使ってカード領域を抽出）
|
|
@@ -31,6 +46,7 @@
|
|
|
31
46
|
2. 抽出した領域を射影変換して長方形に修正
|
|
32
47
|
|
|
33
48
|
3. OCRで文字認識（可能であれば独自データセットを作成）
|
|
49
|
+
3.1 画像が上下反転する可能性があるのであれば、画像を上下反転（180°回転）させて3-5の処理を実施
|
|
34
50
|
|
|
35
51
|
4. 文字を繋げて文章化
|
|
36
52
|
|