常連

### 前提
現在、Unityで手書き文字認識機能を実装しようとしています。
OCRライブラリにTesseractという物があると知り、こちらのコードもとに導入、日本語化したのですが、実用化に足る制度が出ずに困っています。(https://github.com/Neelarghya/tesseract-unity)
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-07-17/62334c82-f673-4fff-b634-45f6c34019df.png)

精度を上げる方法や、Unity上で日本語文字認識を行う際おすすめの方法などあればご教授ください。
(Tesseract以外の方法でも構いません)

### 実現したいこと

- [ ] 手書き文字の認識をUnity上で実装できるようにする。

### 発生している問題・エラーメッセージ
精度が悪く、実用化出来ない



### 試したこと
tesseractのUnityライブラリ(https://github.com/Neelarghya/tesseract-unity) の導入、日本語化。
学習データは(https://github.com/tesseract-ocr/tessdata) を参照しました


### 補足情報（FW/ツールのバージョンなど）
Unityは2020.3.21を使用しています。


Unityで手書き文字認識を実装したいです。

### 前提・実現したいこと

OCR機能を用いてアイコンをクリックする動作をさせたいです。
※下記コードのようなPyautoguiで画像をサーチする方法ではなく、
　文字をサーチする方法でクリックさせたいです。

```Python
import pyautogui as pg
position=pg.locateOnScreen('search.bmp') 
pg.click(position)
```


例えば、windowsのcalenderを立ち上げる場合、
下記コードでcalenderアプリを含む画像を取得し、

```Python
pg.press('win')
sc = pg.screenshot(region=(0, 0, 500, 700)) 
```

pyocrを用いて画像内の「calender」の文字列を抽出するところまで
できました。

しかし、この文字列がある座標を取得する方法がわからない為、
クリックができないです。


知見がある方がいらっしゃいましたらご教授の程よろしくお願いします。



### 試したこと

・Tesseractをインストールし、pyocrで手書きの文字が正常に認識することを確認済み
・openCVをインストール済み

### 補足情報（FW/ツールのバージョンなど）

OS:windows10 64bit
Python:3.8.3
pip:21.0.1
opencv-python:4.5.1.48
pyocr:0.8
PyAutoGUI:0.9.52


### 解決方法
sakuramochi_py 様にご教授頂き、下記コードで実現できました。

```Python
import pyautogui as pg
import time
import cv2
import pyautogui as pg

pg.press('win')
time.sleep(2)

sc = pg.screenshot(region=(50, 100, 500, 700)) #始点x,y、幅、高さ
sc.save('./img/img.png')

lang = 'eng'
img_path = './img/{}.png'.format(lang)
img = Image.open(img_path)
out_path = './img/{}_{}.png'

word_boxes = tool.image_to_string(
    img,
    lang=lang,
    builder=pyocr.builders.WordBoxBuilder(tesseract_layout=6)
)

out = cv2.imread(img_path)

for d in word_boxes:
    print(d.content)
    print(d.position)
    cv2.rectangle(out, d.position[0], d.position[1], (0, 0, 255), 2) #d.position[0]は認識した文字の左上の座標,[1]は右下
    cv2.imwrite(out_path.format(lang, 'word_boxes'), out)
    x1,y1 = d.position[0]
    x2,y2 = d.position[1]  
    if(d.content=='Anaconda3'): #Anacondaのアイコンを認識したらクリックする
        x3 = (x1+x2)/2+50
        y3 = (y1+y2)/2+100
        pg.click(x3,y3)
```

認識した画像を確認するとこんな感じです。

![イメージ説明](0bfc2a4ffdb0df2b32785fc3daca8be8.png)

### 追記(画像処理方法と文字認識時間検証)
下記３種類の画像認識方法について、
認識画像と認識時間を追記しました。

sakuramochi_py 様の見解通り３種類の組み合わせが一番認識時間が
短い結果となりました。

①：フルカラー
②：①＋グレースケール
③：②＋２値化
④：③＋反転

![イメージ説明](da9027ce3fad6fb030d9fc7b8f553294.png)

```Python
img = cv2.imread("./img/eng.png")

#グレースケールに変換
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
cv2.imwrite("./img/eng.png",gray)

#2値化
img = cv2.imread("./img/eng.png")
threshold = 105
ret,img_thresh = cv2.threshold(img, threshold, 255, cv2.THRESH_BINARY)
cv2.imwrite("./img/eng.png",img_thresh)

#色反転
img = cv2.imread("./img/eng.png")
img_invert = cv2.bitwise_not(img)
cv2.imwrite("./img/eng.png",img_invert)
```

OCR機能を用いて、画像内の対象文字列をクリックしたい

### 前提・実現したいこと

####下のような百人一首の下の句が書かれている札の画像から文字を認識してそれに対応する上の句をDB上に保存することで、実際の下の句が書かれている札の写真（こちらも下記記載）を識別し、それに対応する上の句を表示できるようにしたいと考えています。

まず第一歩目としてtesseract(4.11)の日本語訓練データとpythonで下記画像の文字を読み取れるかを検討したところ、下のような結果となってしまいました。
![イメージ説明](babc229ba8abb8dac4593062754a4cb2.jpeg)
![イメージ説明](a8b4270a5ac07d1e92eb759f1e370acf.jpeg)

### OCR結果
```
%22 ( わ
れ は か
つ つ こ
つゆ ろ 
 にも   
```

### 該当のソースコード

```python
import os
from PIL import Image
import pyocr
 
tools = pyocr.get_available_tools()
tool = tools[0]

img = Image.open("torifuda_F_1.jpg")
 

builder = pyocr.builders.TextBuilder(tesseract_layout=6)
text = tool.image_to_string(img, lang="jpn", builder=builder)
 
print(text)
```

### 
lang=jpn_vertという縦書き用の訓練データでは1割程度しか正しく読み取ることが出来なかったためlang=jpnで読み取ったのですが正確に読み取ることは出来ていないようです。
文字認識の精度をあげるにはどうしたらよいでしょうか？

読み取りの精度を上げることが難しい場合、下の句の札100枚の画像を文字ではなく模様として教師あり機械学習？（機械学習は素人でよくわかっていませんが）を行って分類するという感じになるのでしょうか？

目標の分類を実現するために、どういった手順で取り組むのが良いかも教えていただけると非常に助かります。

画像内の文字を認識して分類したい！！

プログラミング勉強中の初心者です。
anaconda環境のPycharmにてconda経由でPytesseract,tesseract,pyocrをインストールし、
動作確認のため下記のコードを実行したのですが

Will use tool 'Tesseract (sh)'
Available languages: Traceback (most recent call last):
  File "C:\Users\.....\PycharmProjects\PysimpleGUI\XXXX.py", line 18, in <module>
    lang = langs[0]
IndexError: list index out of range

と表記され実行できません
色々調べましたがごちゃごちゃになってわからないので解決策を教えてほしいです。


```python
from PIL import Image
import sys

import pyocr
import pyocr.builders

tools = pyocr.get_available_tools()
if len(tools) == 0:
    print("No OCR tool found")
    sys.exit(1)
tool = tools[0]
print("Will use tool '%s'" % (tool.get_name()))


langs = tool.get_available_languages()
print("Available languages: %s" % ", ".join(langs))
lang = langs[0]
print("Will use lang '%s'" % (lang))
```

# 試したこと
・anaconda promptにてconda listにてPytesseract,tesseract,pyocrをインストールされているか、バージョンが最新かの確認
→すべてインストール済、最新版(いずれもconda install -c conda-forge～　でインストール)
・anaconda環境のプロジェクトか確認→そう
・anaconda promptにてtesseract versionからtesseract --list-langsから言語を確認
→  jpnとjpn_vertの両方を確認

・試しに日本語がはっきり書かれている画像をカレントディレクトリに置き下記のコードでテキストを読み取らせる

```python
from PIL import Image
import sys

import pyocr
import pyocr.builders
pyocr.tesseract.TESSERACT_CMD = r'<full_path_to_your_tesseract.exe>'
(pyocr.tesseract.TESSERACT_CMD = r'<full_path_to_your_pytesseract.exe>'としても同じ結果)
tools = pyocr.get_available_tools()
if len(tools) == 0:
    print("No OCR tool found")
    sys.exit(1)
tool = tools[0]
print("Will use tool '%s'" % (tool.get_name()))

txt = tool.image_to_string(Image.open('test.png'),lang="jpn",builder=pyocr.builders.TextBuilder(tesseract_layout=6))
print(txt)
```
環境変数などの設定は行っていません。
実行の際TESSERACT_CMDの行抜きですと下記のようにエラーが出ました

```python
C:\Users\ユーザ名\anaconda3\python.exe C:\Users\fユーザ名\PycharmProjects\PysimpleGUI\....\....\XXX.py 
Will use tool 'Tesseract (sh)'
Traceback (most recent call last):
  File "C:\Users\ユーザ名\PycharmProjects\PysimpleGUI\....\....\XXX.py", line 15, in <module>
    txt = tool.image_to_string(Image.open('test.png'),lang="jpn",builder=pyocr.builders.TextBuilder(tesseract_layout=6))
  File "C:\Users\ユーザ名\anaconda3\lib\site-packages\pyocr\tesseract.py", line 372, in image_to_string
    raise TesseractError(status, errors)
pyocr.error.TesseractError: (1, b'Error opening data file ./jpn.traineddata\r\nPlease make sure the TESSDATA_PREFIX environment variable is set to your "tessdata" directory.\r\nFailed loading language \'jpn\'\r\nTesseract couldn\'t load any languages!\r\nCould not initialize tesseract.\r\n')

プロセスは終了コード 1 で終了しました

```
行を入れた際はNo OCR tool found と出ます。
未使用の import ステートメント 'import pyocr'
'imported module pyocr' の参照 'tesseract' が見つかりませんと表示される。

また、r'<full_path_to_your_tesseract.exe>'
の箇所はきちんとtesseract.exeの絶対パスを指定しています。
（anaconda prompt にて　where tesseractで表示された絶対パスが同じであることを確認済)

anaconda promptにて、
set TESSDATA_PREFIX=C:\Users\ユーザー名\anaconda3\pkgs\tesseract-5.3.0-...........\share\tessdata
を実行後、再度コードを実行。
→試してうまくいかないので追記。


# 環境
・PyCharm Community Edition 
・anaconda3
・windows10


Python tesseractで翻訳ができない

###前提・実現したいこと
C#で画像から日本語のテキストを読み取りたい（OCRしたい)。

###発生している問題
現在C#でtesseract ※1を利用しています。

こちらの jpn.traineddataは認識精度がとても悪かったので、
[https://github.com/tesseract-ocr/tessdata/blob/master/jpn.traineddata](https://github.com/tesseract-ocr/tessdata/blob/master/jpn.traineddata)

以下の記事を参考に、tesstrain.shを用いて「メイリオ（Meiryo）」だけの言語データを作成し、
OCRを行ったのですがそれでも認識精度がイマイチです。
[http://qiita.com/atuyosi/items/c0933b5edf605c4a7c19](http://qiita.com/atuyosi/items/c0933b5edf605c4a7c19)

![イメージ説明](0e4868fb9ea9fb7452f2c670d686b4e0.png)
↑読み取り対象の画像です。（フォントはメイリオです）


![イメージ説明](5e028dc5c07fcea9e401c0b2c2da6d0b.png)
↑
tessract-ocrの実行結果

※1
NuGet - Tesseract
[https://www.nuget.org/packages/Tesseract/](https://www.nuget.org/packages/Tesseract/)

また、以下のように認識のホワイトリストも付け加えましたが精度は向上しませんでした。
```
tesseract.SetVariable("tessedit_char_whitelist", "アイウエオァィゥェォカキクケコガギグゲゴサシスセソザジズゼゾタチツテトダヂヅデドナニヌネノハヒフヘホバビブベボパピプペポマミムメモヤユヨラリルレロワヲンーabcdefghijklmnopqrtsuvwxyz");
```

### プログラム
```
static string GetStringFromImage(Bitmap img)
{
    using (var tesseract = new Tesseract.TesseractEngine(@"C:\", "jpn"))
    {
        var page = tesseract.Process(img);
        return page.GetText();
    }
}
```

NHocrも利用してみましたがtessract-ocrより精度が悪く実用性が感じられませんでした。

C#で画像から日本語のテキストを読み取りたい（OCRしたい)。

### 実現したいこと

pyocrを用いたexeファイルをpyinstallerで作成したい。

### 前提

先ほど、exeファイルを配布したときにエラーが出るという旨で質問したのですが、原因がTesserect.exeが相手方になく、該当のソースコードに示すような処理が行えていないことが分かりました。

しかし、この問題を解決する際に、pyinstallerを用いてどのようにexe化するかわからないため教えていただけると幸いです。(specファイルを変更して、pyinstallerで実行するは変更内容を教えていただければ！)

また、この際にスクリプト自体に変更が生じる場合もどのように記述を変更すればよいか教えていただきたいです。

### 発生している問題・エラーメッセージ

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-02-13/15fc4e32-bf91-48b7-adb5-03762fa20d3a.png)

### 該当のソースコード

```ここに言語名を入力
pyocr.tesseract.TESSERACT_CMD = r'C:\\Program Files\\Tesseract-OCR\\tesseract.exe'
・・・
tools = pyocr.get_available_tools()
tool = tools[0]



```

### 試したこと

いくつかTesserectについて記述したブログなどを読んでみたのですが、いまいちうまくいかずに困っています。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。


pyinstaller のexe化の際に"tesserect.exe"を利用できる方法(python)

### 前提・実現したいこと
Tesseract　OCRのtess-twoを使って特定の色のみを文字認識したい

Tesseract　OCRのtess-twoで文字認識を行う時に青色の字と赤色の字だけを文字を認識して結果を出したいと考えています![](7459e5ce0eb31c011c5f89045e31f5fa.gif)
例この画像を読み込んだら　開　と　閉だけが認識される
青色と赤色の文字を区別するのでなく青色と赤色の文字だけを文字認識したい
こういったプログラムを作りたいんですが特定の色の指定の仕方が分かりません

言語　Java

### 試したこと
BufferedImageで色の取得を試したが特定の色の文字を認識は行えなかった

OCR　特定の色のみを文字認識する方法

### 前提・実現したいこと

Tesseract OCRをインストールして、OpenCVでサンプルコードを動かしたいです。

環境
・Windows 10 64bit
・Visual Studio 2017
・Tesseract 4.1.0
・OpenCV 4.0.1
・OpenCV_contrib 4.0.1
・CMake 3.14.0-rc3
・vcpkg

Visual StudioとOpenCVをインストールして、
OpenCVの動作確認はできています。

また、コマンドプロンプトを使い、vcpkgでTesseractをインストールし、
CMakeでOpenCV_contribを"Configure"し、
Tesseractも"Configure"した後、"Gnerate"しました。
OpenCV.slnをVS2017で開き、x64のreleaseで、
バッチビルドにより、INSTALLとALL_BUILDのビルドに成功しています。

この方法は、以下のサイトを参考にしています。
[https://qiita.com/lilac0011/items/9fe6e061c3a036689a36](https://qiita.com/lilac0011/items/9fe6e061c3a036689a36)

### 発生している問題・エラーメッセージ

問題はここからです。

無事ビルドが完了し、下記のサンプルコードをデバッグしたところ、
以下2つのエラーが発生してサンプルコードが動きません。

プロジェクトのプロパティは以下の通り設定しました。

■ 追加のインクルードディレクトリ
C:\opencv\vcpkg-master\installed\x64-windows\include;
C:\opencv\build\include;%(AdditionalIncludeDirectories)
■ 追加のライブラリディレクトリ
C:\opencv\build\x64\vc15\lib;%(AdditionalLibraryDirectories)
■ 追加の依存ファイル
opencv_world401d.lib;%(AdditionalDependencies)
（その他インストール直後の初期ファイル）


ググっても情報が少ないため自己解決できません。
Tesseractの導入に詳しい方、ご教授お願いします。


```
LNK2019   未解決の外部シンボル "public: static struct cv::Ptr<class cv::text::OCRTesseract> __cdecl cv::text::OCRTesseract::create(char const *,char const *,char const *,int,int)" (?create@OCRTesseract@text@cv@@SA?AU?$Ptr@VOCRTesseract@text@cv@@@3@PEBD00HH@Z) が関数 main で参照されました。	TesseractTest	C:\Users\Taro\source\repos\TesseractTest\TesseractTest\TesseractTest.obj
LNK1120   1件の未解決の外部参照 TesseractTest	C:\Users\Taro\source\repos\TesseractTest\x64\Debug\TesseractTest.exe	
	

```

### 該当のソースコード

```C++
ソースコード

#include <opencv2/opencv.hpp>
#include <opencv2/text.hpp>

using namespace cv;
using namespace cv::dnn;
using namespace std;

void main()
{
	// 画像読み込み
	auto image = cv::imread("moji.jpg");
	// グレースケール化
	cv::Mat gray;
	cv::cvtColor(image, gray, COLOR_RGB2GRAY);
	// 文字認識クラスのインスタンス生成
	auto ocr = cv::text::OCRTesseract::create("C:\opencv\tesseract\tessdata", "jpn");

	std::string text;
	std::vector<cv::Rect> boxes;
	std::vector<std::string> words;
	vector<float> confidences;
	// 文字認識の実行
	ocr->run(gray, text, &boxes, &words, &confidences);

	// 結果出力
	printf("%s\n", text.c_str());
	// 文字のかたまりごとに出力
	printf(" 文字      | 位置       | 大きさ     | 信頼度\n");
	printf("-----------+------------+------------+----------\n");
	for (int i = 0; i < boxes.size(); i++)
	{
		printf("%-10s | (%3d, %3d) | (%3d, %3d) | %f\n",
			words[i].c_str(),
			boxes[i].x, boxes[i].y,
			boxes[i].width, boxes[i].height,
			confidences[i]);
	}
}
```