常連

こちらのコードを参照にpythonでTesseractを使ったOCR（文字認識）を実行しました。
https://qiita.com/mczkzk/items/393abc70836b9bde2f60

すると以下のようなエラメッセージが出ました。公式のドキュメントをみてもわかりませんでした。どのようにしたらよいでしょうか。

Tesseact4.00
Ubuntu: 18.04
pyocr: 0.7.2
traindataは
https://github.com/tesseract-ocr/tesseract/wiki/Data-Files
tesseract-ocr-3.02.jpn.tar.gzからダウンロードした
jpn.traineddataを/usr/share/tesseract-ocr/4.00/tessdataに格納しました。 

```python
from PIL import Image
import sys
sys.path.append('/path/to/dir')

import pyocr
import pyocr.builders

tools = pyocr.get_available_tools()
if len(tools) == 0:
    print("No OCR tool found")
    sys.exit(1)
tool = tools[0]
print("Will use tool '%s'" % (tool.get_name()))

langs = tool.get_available_languages()
print("Available languages: %s" % ", ".join(langs))

txt = tool.image_to_string(
    Image.open('test.png'),
    lang='jpn',
    builder=pyocr.builders.TextBuilder()
)
print(txt)

```
```python
---------------------------------------------------------------------------
TesseractError                            Traceback (most recent call last)
<ipython-input-15-2b6f2c56b032> in <module>
     10 txt = tool.image_to_string(
     11   Image.open('./test.png'),
---> 12   lang = 'eng+jpn'
     13 )
     14 

/usr/local/lib/python3.6/dist-packages/pyocr/tesseract.py in image_to_string(image, lang, builder)
    364                                          configs=builder.tesseract_configs)
    365         if status:
--> 366             raise TesseractError(status, errors)
    367 
    368         tested_files = []

TesseractError: (1, b'read_params_file: parameter not found: textord_tabfind_vertical_horizontal_mix\n')
```

Tesseract エラーメッセージ（ TesseractError: (1, b'read_params_file: parameter not found: textord_tabfind_ve）

### 実現したいこと

pyocrを用いたexeファイルをpyinstallerで作成したい。

### 前提

先ほど、exeファイルを配布したときにエラーが出るという旨で質問したのですが、原因がTesserect.exeが相手方になく、該当のソースコードに示すような処理が行えていないことが分かりました。

しかし、この問題を解決する際に、pyinstallerを用いてどのようにexe化するかわからないため教えていただけると幸いです。(specファイルを変更して、pyinstallerで実行するは変更内容を教えていただければ！)

また、この際にスクリプト自体に変更が生じる場合もどのように記述を変更すればよいか教えていただきたいです。

### 発生している問題・エラーメッセージ

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-02-13/15fc4e32-bf91-48b7-adb5-03762fa20d3a.png)

### 該当のソースコード

```ここに言語名を入力
pyocr.tesseract.TESSERACT_CMD = r'C:\\Program Files\\Tesseract-OCR\\tesseract.exe'
・・・
tools = pyocr.get_available_tools()
tool = tools[0]



```

### 試したこと

いくつかTesserectについて記述したブログなどを読んでみたのですが、いまいちうまくいかずに困っています。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。


pyinstaller のexe化の際に"tesserect.exe"を利用できる方法(python)

### 前提・実現したいこと

OCR機能を用いてアイコンをクリックする動作をさせたいです。
※下記コードのようなPyautoguiで画像をサーチする方法ではなく、
　文字をサーチする方法でクリックさせたいです。

```Python
import pyautogui as pg
position=pg.locateOnScreen('search.bmp') 
pg.click(position)
```


例えば、windowsのcalenderを立ち上げる場合、
下記コードでcalenderアプリを含む画像を取得し、

```Python
pg.press('win')
sc = pg.screenshot(region=(0, 0, 500, 700)) 
```

pyocrを用いて画像内の「calender」の文字列を抽出するところまで
できました。

しかし、この文字列がある座標を取得する方法がわからない為、
クリックができないです。


知見がある方がいらっしゃいましたらご教授の程よろしくお願いします。



### 試したこと

・Tesseractをインストールし、pyocrで手書きの文字が正常に認識することを確認済み
・openCVをインストール済み

### 補足情報（FW/ツールのバージョンなど）

OS:windows10 64bit
Python:3.8.3
pip:21.0.1
opencv-python:4.5.1.48
pyocr:0.8
PyAutoGUI:0.9.52


### 解決方法
sakuramochi_py 様にご教授頂き、下記コードで実現できました。

```Python
import pyautogui as pg
import time
import cv2
import pyautogui as pg

pg.press('win')
time.sleep(2)

sc = pg.screenshot(region=(50, 100, 500, 700)) #始点x,y、幅、高さ
sc.save('./img/img.png')

lang = 'eng'
img_path = './img/{}.png'.format(lang)
img = Image.open(img_path)
out_path = './img/{}_{}.png'

word_boxes = tool.image_to_string(
    img,
    lang=lang,
    builder=pyocr.builders.WordBoxBuilder(tesseract_layout=6)
)

out = cv2.imread(img_path)

for d in word_boxes:
    print(d.content)
    print(d.position)
    cv2.rectangle(out, d.position[0], d.position[1], (0, 0, 255), 2) #d.position[0]は認識した文字の左上の座標,[1]は右下
    cv2.imwrite(out_path.format(lang, 'word_boxes'), out)
    x1,y1 = d.position[0]
    x2,y2 = d.position[1]  
    if(d.content=='Anaconda3'): #Anacondaのアイコンを認識したらクリックする
        x3 = (x1+x2)/2+50
        y3 = (y1+y2)/2+100
        pg.click(x3,y3)
```

認識した画像を確認するとこんな感じです。

![イメージ説明](0bfc2a4ffdb0df2b32785fc3daca8be8.png)

### 追記(画像処理方法と文字認識時間検証)
下記３種類の画像認識方法について、
認識画像と認識時間を追記しました。

sakuramochi_py 様の見解通り３種類の組み合わせが一番認識時間が
短い結果となりました。

①：フルカラー
②：①＋グレースケール
③：②＋２値化
④：③＋反転

![イメージ説明](da9027ce3fad6fb030d9fc7b8f553294.png)

```Python
img = cv2.imread("./img/eng.png")

#グレースケールに変換
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
cv2.imwrite("./img/eng.png",gray)

#2値化
img = cv2.imread("./img/eng.png")
threshold = 105
ret,img_thresh = cv2.threshold(img, threshold, 255, cv2.THRESH_BINARY)
cv2.imwrite("./img/eng.png",img_thresh)

#色反転
img = cv2.imread("./img/eng.png")
img_invert = cv2.bitwise_not(img)
cv2.imwrite("./img/eng.png",img_invert)
```

OCR機能を用いて、画像内の対象文字列をクリックしたい

### 前提・実現したいこと

####下のような百人一首の下の句が書かれている札の画像から文字を認識してそれに対応する上の句をDB上に保存することで、実際の下の句が書かれている札の写真（こちらも下記記載）を識別し、それに対応する上の句を表示できるようにしたいと考えています。

まず第一歩目としてtesseract(4.11)の日本語訓練データとpythonで下記画像の文字を読み取れるかを検討したところ、下のような結果となってしまいました。
![イメージ説明](babc229ba8abb8dac4593062754a4cb2.jpeg)
![イメージ説明](a8b4270a5ac07d1e92eb759f1e370acf.jpeg)

### OCR結果
```
%22 ( わ
れ は か
つ つ こ
つゆ ろ 
 にも   
```

### 該当のソースコード

```python
import os
from PIL import Image
import pyocr
 
tools = pyocr.get_available_tools()
tool = tools[0]

img = Image.open("torifuda_F_1.jpg")
 

builder = pyocr.builders.TextBuilder(tesseract_layout=6)
text = tool.image_to_string(img, lang="jpn", builder=builder)
 
print(text)
```

### 
lang=jpn_vertという縦書き用の訓練データでは1割程度しか正しく読み取ることが出来なかったためlang=jpnで読み取ったのですが正確に読み取ることは出来ていないようです。
文字認識の精度をあげるにはどうしたらよいでしょうか？

読み取りの精度を上げることが難しい場合、下の句の札100枚の画像を文字ではなく模様として教師あり機械学習？（機械学習は素人でよくわかっていませんが）を行って分類するという感じになるのでしょうか？

目標の分類を実現するために、どういった手順で取り組むのが良いかも教えていただけると非常に助かります。

画像内の文字を認識して分類したい！！

###前提・実現したいこと
C#で画像から日本語のテキストを読み取りたい（OCRしたい)。

###発生している問題
現在C#でtesseract ※1を利用しています。

こちらの jpn.traineddataは認識精度がとても悪かったので、
[https://github.com/tesseract-ocr/tessdata/blob/master/jpn.traineddata](https://github.com/tesseract-ocr/tessdata/blob/master/jpn.traineddata)

以下の記事を参考に、tesstrain.shを用いて「メイリオ（Meiryo）」だけの言語データを作成し、
OCRを行ったのですがそれでも認識精度がイマイチです。
[http://qiita.com/atuyosi/items/c0933b5edf605c4a7c19](http://qiita.com/atuyosi/items/c0933b5edf605c4a7c19)

![イメージ説明](0e4868fb9ea9fb7452f2c670d686b4e0.png)
↑読み取り対象の画像です。（フォントはメイリオです）


![イメージ説明](5e028dc5c07fcea9e401c0b2c2da6d0b.png)
↑
tessract-ocrの実行結果

※1
NuGet - Tesseract
[https://www.nuget.org/packages/Tesseract/](https://www.nuget.org/packages/Tesseract/)

また、以下のように認識のホワイトリストも付け加えましたが精度は向上しませんでした。
```
tesseract.SetVariable("tessedit_char_whitelist", "アイウエオァィゥェォカキクケコガギグゲゴサシスセソザジズゼゾタチツテトダヂヅデドナニヌネノハヒフヘホバビブベボパピプペポマミムメモヤユヨラリルレロワヲンーabcdefghijklmnopqrtsuvwxyz");
```

### プログラム
```
static string GetStringFromImage(Bitmap img)
{
    using (var tesseract = new Tesseract.TesseractEngine(@"C:\", "jpn"))
    {
        var page = tesseract.Process(img);
        return page.GetText();
    }
}
```

NHocrも利用してみましたがtessract-ocrより精度が悪く実用性が感じられませんでした。

C#で画像から日本語のテキストを読み取りたい（OCRしたい)。

###  実現したいこと・発生している問題・試したこと
今回はイカリング3の下記画像からユーザー名、塗りポイント、KDSのデータを取得した。
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-10-06/caccd02c-f81e-4dcf-9d4c-150d3ea18226.png)（画像はお借りしています。）

文字の認識までは行えたが、iphone 13 pro maxのスクショの画像で行っていたため、他のiphone 13 proでのスクショの画像ではずれてしまったため、どの解像度の画像が来ても、取得できるようにしたい。
他の方法で、テキスト描写域を取得してから行う方法では、取得できない部分があり断念した。

何かいい方法がありましたら、教えていただきたいです。よろしくお願いします。


### 該当のソースコード

```py
path='C:\\Program Files\\Tesseract-OCR\\'
os.environ['PATH'] = os.environ['PATH'] + path
pyocr.tesseract.TESSERACT_CMD = r'C:\Program Files\Tesseract-OCR\tesseract.exe'
engines = pyocr.get_available_tools()
engine = engines[0]
point = [[170,718,490,772],[820,720,973,775],[973,720,1235,772],
             [170,875,490,942],[820,885,973,945],[973,885,1235,942], 
             [170,1045,490,1110],[820,1050,973,1112],[973,1050,1235,1110],
             [170,1208,490,1268],[822,1212,973,1268],[973,1212,1235,1265],
             [170,1476,490,1535],[820,1485,973,1538],[973,1485,1235,1535],
             [170,1648,490,1700],[820,1648,973,1704],[973,1648,1235,1700],
             [170,1808,490,1865],[820,1812,973,1868],[973,1812,1235,1865],
             [170,1974,490,2035],[820,1978,973,2038],[973,1978,1235,2035]         
             ]
file_name = "aaa.png"
spl_data_list = []
for i in range(len(point)):
     txt = engine.image_to_string(
          Image.open(file_name).crop((point[i][0],point[i][1],point[i][2],point[i][3])),
          lang="ikaltoon",
          builder=pyocr.builders.TextBuilder()
     )
     spl_data_list.append(txt)
     with open(r"ocr_result.txt", "a",encoding="utf-8",errors="ignore") as f:#w
           print(txt, file=f)

     img = cv2.imread(file_name)
     img = cv2.rectangle(img, (point[i][0],point[i][1]),(point[i][2],point[i][3]), (255, 0, 0), 3, 4)
     cv2.imwrite(file_name, img)
```



携帯でスクショしたものから、文字認識を行いたい。

### 前提

pythonの画像認識のプログラミング練習で
文字が書かれている画像をTextBuilderをつかって文字を読み取って文字列として返すことができました。

この画像はPC上にあるものをImage.openさせて読み込ませていますが、
ネット上の画像URLを指定では読み取り不可能ですか？

大量に画像がある場合、いちいちプログラムでダウンロードさせてくるのが大変だなと思いました。

1枚当たりの画像サイズはとても小さくて文字も決まった文字列なので大丈夫ですが、1万枚超える予定なので気になりましたので質問致しました。



### 実現したいこと

ここに実現したいことを箇条書きで書いてください。
- [ ] ▲▲機能を動作するようにする

### 発生している問題・エラーメッセージ

```
エラーメッセージ
```

### 該当のソースコード

```ここに言語名を入力
ソースコード
```

### 試したこと

ここに問題に対して試したことを記載してください。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。


Pythonの画像認識はダウンロードしないと出来ないのでしょうか？

### 前提
tesseract-ocrにて学習データのトレーニングを行えるようになりたいと考えています。

### 実現したいこと

tesstrain.shを作成or取得して先の工程に進みたいです。

### 発生している問題・エラーメッセージ

leptonicaのインストール
↓
tesseractリポジトリのクローン
↓
tesseractのコンパイルとインストール

と行ってきたのですが、この後tesstrain.shを実行して
LSTM training用のファイルを作成する過程となる認識なのですが
tesstrain.shが見当たりません。

### 該当のソースコード

sudo apt-get install g++ # or clang++ (presumably)
sudo apt-get install autoconf automake libtool
sudo apt-get install pkg-config
sudo apt-get install libpng-dev
sudo apt-get install libjpeg8-dev
sudo apt-get install libtiff5-dev
sudo apt-get install zlib1g-dev
sudo apt-get install libicu-dev
sudo apt-get install libpango1.0-dev
sudo apt-get install libcairo2-dev
git clone https://github.com/DanBloomberg/leptonica.git
cd leptonica
./autogen.sh
./configure
make
sudo make install
cd ~/tesstutorial/tesseract
./autogen.sh
./configure
make
sudo make install
sudo ldconfig
make training
sudo make training-install

### 補足情報（FW/ツールのバージョンなど）

WSL でUbuntu 22.04.1を動かして実行しています
