常連

### 実現したいこと
エラーを出さずに実行する
原因がわかるだけでも助かります

### 発生している問題・分からないこと
普通に実行した場合は問題なく動作するのですが、
sudoオプションをつけて実行した場合のみ下記のエラーが発生します。
当該コードで使用している別のライブラリでsudoが必要なので、外せません。

### エラーメッセージ
```error
Traceback (most recent call last):
  File "/Users/user/minhaya/main.py", line 20, in <module>
    text = pytesseract.image_to_string(img)
        ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/Users/user/.asdf/installs/python/3.12.2/lib/python3.12/site-packages/pytesseract/pytesseract.py", line 422, in image_to_string
    return {
           ^
  File "/Users/user/.asdf/installs/python/3.12.2/lib/python3.12/site-packages/pytesseract/pytesseract.py", line 425, in <lambda>
    Output.STRING: lambda: run_and_get_output(*args),
                           ^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/Users/user/.asdf/installs/python/3.12.2/lib/python3.12/site-packages/pytesseract/pytesseract.py", line 287, in run_and_get_output
    run_tesseract(**kwargs)
  File "/Users/user/.asdf/installs/python/3.12.2/lib/python3.12/site-packages/pytesseract/pytesseract.py", line 263, in run_tesseract
    raise TesseractError(proc.returncode, get_errors(error_string))
                                          ^^^^^^^^^^^^^^^^^^^^^^^^
  File "/Users/user/.asdf/installs/python/3.12.2/lib/python3.12/site-packages/pytesseract/pytesseract.py", line 155, in get_errors
    line for line in error_string.decode(DEFAULT_ENCODING).splitlines()
                     ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x89 in position 214: invalid start byte
```

### 該当のソースコード

```python
pytesseract.image_to_string(img)
```

## 実行環境
Python3.12.2
MacOS Ventura 13.6.5
Apple M1

## 補足
この現象が起こるようになった原因の心当たりとして、
直前に今までRosettaのhomebrewのpyenvからインストールしていたPythonを、
arm64のasdfからインストールしました。

ライブラリを使わずsubprocessから直接tesseractを実行した場合は、正常に動作しました。

sudoをつけて実行するとエラーになる Python3 pytesseract 

### 実現したいこと
pythonでOCRを実装したいです。

### 発生している問題・分からないこと
pdfをjpegに変換するプログラムが上手く動きません。

### エラーメッセージ
```error
Traceback (most recent call last):
  File "C:\Users\ryumi\AppData\Local\Programs\Python\Python312\Lib\site-packages\pdf2image\pdf2image.py", line 602, in pdfinfo_from_path
    raise ValueError
ValueError

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\Users\ryumi\desktop\python_lesson\ocr.py", line 16, in <module>
    pages = convert_from_path(pdf_path, poppler_dir)
            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\ryumi\AppData\Local\Programs\Python\Python312\Lib\site-packages\pdf2image\pdf2image.py", line 127, in convert_from_path
    page_count = pdfinfo_from_path(
                 ^^^^^^^^^^^^^^^^^^
  File "C:\Users\ryumi\AppData\Local\Programs\Python\Python312\Lib\site-packages\pdf2image\pdf2image.py", line 611, in pdfinfo_from_path
    raise PDFPageCountError(
pdf2image.exceptions.PDFPageCountError: Unable to get page count.
I/O Error: Couldn't open file 'C:/User/ryumi/Desktop/test.pdf': No error.
```

### 該当のソースコード

```python
import os
from pathlib import Path
from pdf2image import convert_from_path

# poppler/binへのパスをpoppler_dir変数に設定
poppler_dir = Path(r'C:\Program Files (x86)\poppler').parent.absolute() / r"C:\Program Files (x86)\poppler\Library\bin"
os.environ["Path"] += os.pathsep + str(poppler_dir)

# 変換対象のpdfファイルのパスをpdf_path変数に設定
pdf_path = Path(r"C:\User\ryumi\Desktop\test.pdf")

# 画像を保存するディレクトリのパスをimage_dir変数に設定
image_dir = Path(r"C:\User\ryumi\Desktop")

# convert_from_path()関数を用いて、指定したpdfファイルを画像に変換。
pages = convert_from_path(pdf_path, poppler_dir)

# 変換された画像が複数ページある場合、各ページをループで処理し、ファイル名を設定して保存。
# ページ番号を含めたファイル名を作成し、JPEG形式で保存。
if len(pages) > 1:
    for i, page in enumerate(pages):
        file_name = pdf_path.stem + "_{:02d}".format(i + 1) + ".jpeg"
        image_path = image_dir / file_name
        page.save(str(image_path)), "JPEG"
else:
    file_name = pdf_path.stem + ".jpeg"
    image_path = image_dir / file_name
    pages[0].save(str(image_path), "JPEG")
```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [x] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
紆余曲折を経てここまでたどり着きました。限界を感じ、お力をお借りしたく存じます。

### 補足
特になし

pdf2imageができない

### 実現したいこと
特定のPDFから日本語を読み取り、文字列として出力をしたいのですが、なぜか文字化けしたような文字列が出力されてしまうのでそれを直したいです。
他のPDFではある程度文字を出力できたため、特定のPDFのデータ構造についての問題なのかな？　と思っているのですが、具体的に何が課題なのか分からないという状態です。

### 発生している問題・分からないこと
以下のコードを実行すると、文字化けしたような意味不明な文字列が出力されます。
二値化、モルフォロジー変換をした後の画像を確認したりしましたが、該当の画像について、人間の目には解像度は悪くなくOCRできそうだと感じました。

### エラーメッセージ
```error
エラーではないです。
```

### 該当のソースコード

```
!pip install pypdf
!pip install pillow
!apt-get install -y tesseract-ocr
!apt-get install tesseract-ocr-jpn
!apt-get install -y libtesseract-dev
!pip install pytesseract
!pip install opencv-python-headless

import io
import os
from pypdf import PdfReader
os.environ['TESSDATA_PREFIX'] = '/usr/share/tesseract-ocr/4.00/tessdata'
from PIL import Image
import pytesseract
import cv2
import numpy as np

def preprocess_image(image):
   """画像の前処理を行う関数"""
   img_array = np.array(image).astype(np.uint8)
   # 画像のチャンネル数を確認
   if len(img_array.shape) == 2:
       # グレースケール画像の場合、そのまま使用
       gray = img_array
   elif img_array.shape[2] == 3:
       # RGBカラー画像の場合、グレースケールに変換
       gray = cv2.cvtColor(img_array, cv2.COLOR_RGB2GRAY)
   else:
       raise ValueError("Unsupported image format")
   # 二値化
   _, binary = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)
   # モルフォロジー変換（ノイズ除去）
   kernel = np.ones((3, 3), np.uint8)
   opening = cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel, iterations=1)
   return Image.fromarray(opening)

def extract_images_from_pdf(pdf_file):
   """PDFファイルから画像を抽出する関数"""
   reader = PdfReader(io.BytesIO(pdf_file))
   images = []
   for page in reader.pages:
       if '/XObject' in page['/Resources']:
           xObject = page['/Resources']['/XObject']
           for obj in xObject:
               if xObject[obj]['/Subtype'] == '/Image':
                   image_data = xObject[obj].get_data()
                   images.append(image_data)
   return images

def extract_text_from_image(image):
   """画像からテキストを抽出する関数"""
   text = pytesseract.image_to_string(image, lang='jpn', config='--psm 6')
   return text

def process_pdf(pdf_file):
   """PDFを処理し、テキストデータを出力する関数"""
   images = extract_images_from_pdf(pdf_file)
   for i, img_data in enumerate(images):
       img = Image.open(io.BytesIO(img_data))
       preprocessed_img = preprocess_image(img)
       text = extract_text_from_image(preprocessed_img)
       print(f"Image {i+1}:")
       print(text)
       print("-" * 50)

# Google Colabでファイルをアップロードするためのコード
from google.colab import files
uploaded = files.upload()

# アップロードされたPDFファイルを処理
for pdf_name, pdf_file in uploaded.items():
   print(f"Processing {pdf_name}:")
   process_pdf(pdf_file)
   print("=" * 50)
```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [x] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
1．最初は二値化、モルフォロジー変換は実施していませんでしたが、その段階で文字化けがひどかったので、データを見やすくする意図（元のデータに点線などが入っていて、その点線が、補足で書くような「1」として表れているのかなと思って、点線を消そうとしていました）でその2つの処理を追加しました。ただ、あまり改善した感じはしませんでした。
2．tesseract OCRに問題があるのかなと思い、EasyOCRでも試しましたが、同様に意味不明な文字列が出力されました。
　tesseractOCRでは文字化けのような文字列が出てきて、EasyOCRでは漢字の羅列のようなデータが出てきました。

### 補足
＜二値化等する前＞
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2024-03-15/5508198d-e166-4d27-928e-876d0399d3e2.png)
1 1 I ! 1 1 I ! 1 I 1 1 ! 1 1 1 1 1 ! 1

IGT ien 0 iR 0 iR ii io io iiューューコー ーーュー ーー 」ュの 選吐

iA inO ioo ion io5 ioo ioっ iR nino 0 の jo5 iR jnm5 jiら0 joo joo 」R jm5b の 5 半 志

1 | | | 1 | | | | | 1 1 | 1 | | 1 1 | 1 ごmm

ーー Ne ッ>て Ne

の 加 ら ご

NO四 品ら

ーー

＜二値化した後のterrasect＞
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2024-03-15/1d256c41-429a-4217-80f6-7b234c716af6.png)
に| cn 3 まこ ここ プロ とっ つい とっ 「プい いつ いこ) っ 1 ーー ーー ーー ーー ーー トー  つ
Fn HH    やSs            ピコ   間      il
ー  し
記  し   し     立 秦 へ 名 和司ら
ーm     ーー  KT    の           てン 月   "     3
ET  に  h 性
し       に電還    ーー             コ
半  邊了生に 病人時   s   に    al 間還|関人際  財
|         ー     ヽー      マミ
      ロ      ヽー ヽー ロ
国 全国全あつ |   ョh   m 三 ミミ< 半    に   |
ii       ー
| rl    Nerd              RT      ー
ここ   間 マー   本   に    半    二話ー征只そ    S
し   ごーー さきニーささーー ーー 一叶    3     中
ここ てm でつら …、 の1 こり |   トー こョ| ホバーででーーの> にコ ご> ーー ーー ーー ーー ーー ーー   く
AI Qp のP  G理王理CO の の邊G ちよ やごOら ら ーー   で
 己 を 性 ジォニ 用 性 性 ごコル選ォニ ニニ ごテル包 避 ei二 用 避
トー ュン トー ニン ーー ーー ーー ーー にだ トー トコ   の



＜EasyOCR版＞
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2024-03-15/a20180fe-d679-475c-8bd0-e5047862659b.png)
留 留 記 品 8 齢 岩 迫 ` 台 呼 だ 窓 呂 る る さ 号 器 ワ ‥ こ 熟 = 曇 豊 ロ 1 糞 ~ こ @ 順 避 苗 @ ~ 邑 智 喜 喜 育 震  = 三 可 = 号 喜 可 言 宮 言 言 言 言 三 ! 宮 ‥ こ  美 三 | | こ 三 三 三 ごオ早さニ こ ごォ| | 巴 こ 三 | の ; ド 呂 る 器 呂 置 宮 呂 呂 呂 呂 呂 口 る ♪ 古 。 沓 。 宮 昌 昌 昌 昌 昌 昌 ・ ゆ ・ ・ 呂 | | 宮 呂 る 書 一 留 窓 8  会 留 っ 留 ~ + = 窓 口 窓 呂 留 会 呂 亘 号 ジ ヒ 一 ; ; 留 8 | 呂 会 』 @ 高 9 器 器 ` 。 弓 | 8 ・ 留 る 慧 器 昌 宮 昌 器 宮 | ゆ 台 の 一 呂 留 る 豆 器 さ 器 器 三 可 の 皆 望 る 曾 島 器 ら 露 器 宮 曽 る 曾 三 曽 三 三 弓 ・ 上 曽 言 喜 昌 言 ね 器 8 留 じ 器 呂 1  一 呂呂留 8 る呂 こ 呂 留 吾令 口さ 三可器宮弓留っ命 じ る 中口 言こ呂呂るら三呂 8 9 留 呂呂呂 露 品 中 命 ・ ぶ 一 6 ゆ る ・ と ゆ 中 中 ゆ口口 口ロ ・ @ 語も論邑 ロ・ ざ 巾 一 命 八・ 間 口 ゆ ゆ ・ ・ 舘 ‥? ‥? ‥? さ さ? 。? さ? 埼? 。? 。? 3? ば 台 。? 。? ハ? 3 高 _己 さ? さ ‥ 。? 点ば 。? さ? ‥ ‥? さ? さ? ゅ さ 一 一 き ゆ さ や 昂 昌 ブ 8 昌 曽 ‥  ミ ど 8 器 器 こ 令 曾 留 言 留 昌 昌 昌 昌 昌 昌 昌 昌 昌 昌 き 昌 昌 昌 昌 昌 昌 昌 昌 雪 中 さ ご さ さ さ ; ♪ ♪ 家 畠 言 品 留 器 る 呂 町 ♪ 呂 言 奇 ぐ 昌 器 愚 窓 重 昌 ミ 邑 留 齢 台 昌 ハり 呂 土 留 会 号 留 じ 呂  ツ 呂 畠 昌 舎 さ  の の ♪ 呂 高 器 8 邑 邑 呂 言 言 舎 皆 高 器 舘 る 昌 留 曽 器 る る 昌 呂 宮 昌 舎 言 号 島 呂 呂 言 骨 器 呂 弓 称 ツ 量 呂治 るズこ こ ご留呂 ゆ 留呂留言呂っっ言吾留ミ鉛 太 中 台石司 口守 言三言言るるミミ言言言言ミ言 び る ・ 命 ]」

Google Colabo上でのPythonの処理で、PDFから日本語を読み取って文字列として出力する際に、出力される文字列が文字化け状態みたいな形になってしまう

### 前提・実現したいこと

OCR機能を用いてアイコンをクリックする動作をさせたいです。
※下記コードのようなPyautoguiで画像をサーチする方法ではなく、
　文字をサーチする方法でクリックさせたいです。

```Python
import pyautogui as pg
position=pg.locateOnScreen('search.bmp') 
pg.click(position)
```


例えば、windowsのcalenderを立ち上げる場合、
下記コードでcalenderアプリを含む画像を取得し、

```Python
pg.press('win')
sc = pg.screenshot(region=(0, 0, 500, 700)) 
```

pyocrを用いて画像内の「calender」の文字列を抽出するところまで
できました。

しかし、この文字列がある座標を取得する方法がわからない為、
クリックができないです。


知見がある方がいらっしゃいましたらご教授の程よろしくお願いします。



### 試したこと

・Tesseractをインストールし、pyocrで手書きの文字が正常に認識することを確認済み
・openCVをインストール済み

### 補足情報（FW/ツールのバージョンなど）

OS:windows10 64bit
Python:3.8.3
pip:21.0.1
opencv-python:4.5.1.48
pyocr:0.8
PyAutoGUI:0.9.52


### 解決方法
sakuramochi_py 様にご教授頂き、下記コードで実現できました。

```Python
import pyautogui as pg
import time
import cv2
import pyautogui as pg

pg.press('win')
time.sleep(2)

sc = pg.screenshot(region=(50, 100, 500, 700)) #始点x,y、幅、高さ
sc.save('./img/img.png')

lang = 'eng'
img_path = './img/{}.png'.format(lang)
img = Image.open(img_path)
out_path = './img/{}_{}.png'

word_boxes = tool.image_to_string(
    img,
    lang=lang,
    builder=pyocr.builders.WordBoxBuilder(tesseract_layout=6)
)

out = cv2.imread(img_path)

for d in word_boxes:
    print(d.content)
    print(d.position)
    cv2.rectangle(out, d.position[0], d.position[1], (0, 0, 255), 2) #d.position[0]は認識した文字の左上の座標,[1]は右下
    cv2.imwrite(out_path.format(lang, 'word_boxes'), out)
    x1,y1 = d.position[0]
    x2,y2 = d.position[1]  
    if(d.content=='Anaconda3'): #Anacondaのアイコンを認識したらクリックする
        x3 = (x1+x2)/2+50
        y3 = (y1+y2)/2+100
        pg.click(x3,y3)
```

認識した画像を確認するとこんな感じです。

![イメージ説明](0bfc2a4ffdb0df2b32785fc3daca8be8.png)

### 追記(画像処理方法と文字認識時間検証)
下記３種類の画像認識方法について、
認識画像と認識時間を追記しました。

sakuramochi_py 様の見解通り３種類の組み合わせが一番認識時間が
短い結果となりました。

①：フルカラー
②：①＋グレースケール
③：②＋２値化
④：③＋反転

![イメージ説明](da9027ce3fad6fb030d9fc7b8f553294.png)

```Python
img = cv2.imread("./img/eng.png")

#グレースケールに変換
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
cv2.imwrite("./img/eng.png",gray)

#2値化
img = cv2.imread("./img/eng.png")
threshold = 105
ret,img_thresh = cv2.threshold(img, threshold, 255, cv2.THRESH_BINARY)
cv2.imwrite("./img/eng.png",img_thresh)

#色反転
img = cv2.imread("./img/eng.png")
img_invert = cv2.bitwise_not(img)
cv2.imwrite("./img/eng.png",img_invert)
```

OCR機能を用いて、画像内の対象文字列をクリックしたい

### 前提・実現したいこと

####下のような百人一首の下の句が書かれている札の画像から文字を認識してそれに対応する上の句をDB上に保存することで、実際の下の句が書かれている札の写真（こちらも下記記載）を識別し、それに対応する上の句を表示できるようにしたいと考えています。

まず第一歩目としてtesseract(4.11)の日本語訓練データとpythonで下記画像の文字を読み取れるかを検討したところ、下のような結果となってしまいました。
![イメージ説明](babc229ba8abb8dac4593062754a4cb2.jpeg)
![イメージ説明](a8b4270a5ac07d1e92eb759f1e370acf.jpeg)

### OCR結果
```
%22 ( わ
れ は か
つ つ こ
つゆ ろ 
 にも   
```

### 該当のソースコード

```python
import os
from PIL import Image
import pyocr
 
tools = pyocr.get_available_tools()
tool = tools[0]

img = Image.open("torifuda_F_1.jpg")
 

builder = pyocr.builders.TextBuilder(tesseract_layout=6)
text = tool.image_to_string(img, lang="jpn", builder=builder)
 
print(text)
```

### 
lang=jpn_vertという縦書き用の訓練データでは1割程度しか正しく読み取ることが出来なかったためlang=jpnで読み取ったのですが正確に読み取ることは出来ていないようです。
文字認識の精度をあげるにはどうしたらよいでしょうか？

読み取りの精度を上げることが難しい場合、下の句の札100枚の画像を文字ではなく模様として教師あり機械学習？（機械学習は素人でよくわかっていませんが）を行って分類するという感じになるのでしょうか？

目標の分類を実現するために、どういった手順で取り組むのが良いかも教えていただけると非常に助かります。

画像内の文字を認識して分類したい！！

### 実現したいこと

Jupyterにてpyocr + tesseractを使ったOCRの環境構築

### 前提
・Anaconda Navigator(以下AN)の仮想環境でJupyter上でのトラブル
・Pillow・opencv-python・numpy等、必要なライブラリは導入出来たと考えております。
・当方プログラミング初心者です。可能な限り伝えられる情報を記載したつもりなのですが
　状況を全て伝えきれていない場合ご指摘いただければ幸いです。

参考にしたURL
https://hituji-ws.com/code/python/tesseract-ocr/

### 発生している問題・エラーメッセージ

```
ModuleNotFoundError                       Traceback (most recent call last)
Cell In[17], line 41
     37     data_list
     39     return data_list
---> 41 from tesseract_ocr import render_doc_text
     43 if __name__ == '__main__':
     44     # OCR検知
     45     data_list = render_doc_text('sample.png')

ModuleNotFoundError: No module named 'tesseract_ocr'
```

### 該当のソースコード

```Python
from PIL import Image
import pyocr
import pyocr.builders
import cv2
import numpy as np

def render_doc_text(file_path):

    # ツール取得
    pyocr.tesseract.TESSERACT_CMD = 'C:/Users/***/AppData/Local/Programs/Tesseract-OCR/tesseract.exe'
    tools = pyocr.get_available_tools()
    tool = tools[0]

    # 画像取得
    img = cv2.imread(file_path, 0)
    # 必要に応じて画像処理 線を消す
    ret, img = cv2.threshold(img, 150, 255, cv2.THRESH_BINARY)
    # img = cv2.adaptiveThreshold(img, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 11, 5)
    img = cv2.bitwise_not(img)
    label = cv2.connectedComponentsWithStats(img)
    data = np.delete(label[2], 0, 0)
    new_image = np.zeros((img.shape[0], img.shape[1]))+255
    for i in range(label[0]-1):
        if 0 < data[i][4] < 1000:
            new_image = np.where(label[1] == i+1, 0, new_image)

    # ret, img = cv2.threshold(img, 80, 255, cv2.THRESH_BINARY)
    cv2.imwrite('sample_edited.png', new_image)
    img = Image.fromarray(new_image)

    # OCR
    builder = pyocr.builders.TextBuilder()
    result = tool.image_to_string(img, lang="jpn", builder=builder)

    # 結果から空白文字削除
    data_list = [text for text in result.split('\n') if text.strip()]
    data_list

    return data_list

from tesseract_ocr import render_doc_text

if __name__ == '__main__':
    # OCR検知
    data_list = render_doc_text('sample.png')
    print(','.join(data_list))
```

### 試したこと
■ Anaconda Prompt上で コマンド「 conda install -c conda-forge tesseract 」を試しました。
┗ tesseract の動作確認(current version: 23.7.4)　コマンド「 !tesseract --list-langs 」

→ 動作はしているように思えます。
List of available languages (2):
eng
osd

■ANの仮想環境にパッケージとして「tesseract」「pytesseract」をインストールしました。
「tesseract-4.1.1-h8c00e3c_4」というフォルダの下位フォルダに「tessdata」があります。
┗ フォルダ名の「tesseract_ocr」は見つけることが出来ませんでした。
┗ フォルダ名をtesseract_ocrに書き換えて環境変数への登録は不安になり試せておりません。

■ 公式HPよりインストーラーをDL、Windowsに直接tesseractのインストールを試しました。
┗ tesseractORCの下位フォルダにtessdataは作成されていました。

Windowsの環境変数の登録等々調べられた限りでは試したのですが
動作させることが出来ず質問させていただいた次第です。


### 質問事項
■ Anaconda Prompt上で コマンド「 conda install -c conda-forge tesseract 」にてインストールしたものを
見つけられず環境変数にパスが登録出来てない事が原因でしょうか？

■ 非常に初歩的な質問で恐縮なのですが、読み込む画像データはどのディレクトリに配置すればよいでしょうか。
┗ jupterの仮想環境のあるフォルダや「ここかな？」という場所には色々おいて試したのですが、コレといった答えに検索でたどり着くことが出来ませんでした。

### 補足情報（FW/ツールのバージョンなど）

JupyterLab 4.0.8

### 返信コメント用の画像

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-12-15/23013851-91ca-4f2a-abd8-0c269d54e591.jpeg)


Jupyterにてpyocr + tesseractを使ったOCRの環境構築

### 実現したいこと
JupyterLabにてpyocr + tesseractを使ったOCR

### 前提

参考にしたURL
https://hituji-ws.com/code/python/tesseract-ocr/

### 発生している問題・エラーメッセージ
Runを押しても特に何も表示されない状態です。
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-12-12/7c7b9cb7-c737-4d17-a501-57754b9ed154.png)


### 該当のソースコード

```Python
from PIL import Image
import pyocr
import pyocr.builders
import cv2
import numpy as np

def render_doc_text(file_path):

    # ツール取得
    pyocr.tesseract.TESSERACT_CMD = 'C:/Users/自身の環境/AppData/Local/Programs/Tesseract-OCR/tesseract.exe'
    tools = pyocr.get_available_tools()
    tool = tools[0]

    # 画像取得
    img = cv2.imread(file_path, 0)
    # 必要に応じて画像処理 線を消す
    ret, img = cv2.threshold(img, 150, 255, cv2.THRESH_BINARY)
    # img = cv2.adaptiveThreshold(img, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 11, 5)
    img = cv2.bitwise_not(img)
    label = cv2.connectedComponentsWithStats(img)
    data = np.delete(label[2], 0, 0)
    new_image = np.zeros((img.shape[0], img.shape[1]))+255
    for i in range(label[0]-1):
        if 0 < data[i][4] < 1000:
            new_image = np.where(label[1] == i+1, 0, new_image)

    # ret, img = cv2.threshold(img, 80, 255, cv2.THRESH_BINARY)
    cv2.imwrite('sample_edited.png', new_image)
    img = Image.fromarray(new_image)

    # OCR
    builder = pyocr.builders.TextBuilder()
    result = tool.image_to_string(img, lang="jpn", builder=builder)

    # 結果から空白文字削除
    data_list = [text for text in result.split('\n') if text.strip()]
    data_list

    return data_list
```

### 試したこと
モジュール不足やpathの設定などエラーの度に都度対応して
エラーを吐かない段階まで到達したのですが、エラーを吐かないにも関わらず動作せず手詰まり状態です。

### 補足情報（FW/ツールのバージョンなど）
JupyterLab 4.0.8


Anaconda Navigatorにて構築した仮想環境でJupyterLabでエラーを吐かないエラー

###前提・実現したいこと
C#で画像から日本語のテキストを読み取りたい（OCRしたい)。

###発生している問題
現在C#でtesseract ※1を利用しています。

こちらの jpn.traineddataは認識精度がとても悪かったので、
[https://github.com/tesseract-ocr/tessdata/blob/master/jpn.traineddata](https://github.com/tesseract-ocr/tessdata/blob/master/jpn.traineddata)

以下の記事を参考に、tesstrain.shを用いて「メイリオ（Meiryo）」だけの言語データを作成し、
OCRを行ったのですがそれでも認識精度がイマイチです。
[http://qiita.com/atuyosi/items/c0933b5edf605c4a7c19](http://qiita.com/atuyosi/items/c0933b5edf605c4a7c19)

![イメージ説明](0e4868fb9ea9fb7452f2c670d686b4e0.png)
↑読み取り対象の画像です。（フォントはメイリオです）


![イメージ説明](5e028dc5c07fcea9e401c0b2c2da6d0b.png)
↑
tessract-ocrの実行結果

※1
NuGet - Tesseract
[https://www.nuget.org/packages/Tesseract/](https://www.nuget.org/packages/Tesseract/)

また、以下のように認識のホワイトリストも付け加えましたが精度は向上しませんでした。
```
tesseract.SetVariable("tessedit_char_whitelist", "アイウエオァィゥェォカキクケコガギグゲゴサシスセソザジズゼゾタチツテトダヂヅデドナニヌネノハヒフヘホバビブベボパピプペポマミムメモヤユヨラリルレロワヲンーabcdefghijklmnopqrtsuvwxyz");
```

### プログラム
```
static string GetStringFromImage(Bitmap img)
{
    using (var tesseract = new Tesseract.TesseractEngine(@"C:\", "jpn"))
    {
        var page = tesseract.Process(img);
        return page.GetText();
    }
}
```

NHocrも利用してみましたがtessract-ocrより精度が悪く実用性が感じられませんでした。