常連

### 前提・実現したいこと
現在の処理速度が遅いので速くしたいです。

画像から数字を読み取り、エクセルに出力しています。63枚の画像が入っているファイル18個をfor文でループさせ読み込みエクセルに出力しています。1枚の画像から3箇所の数字を抜き取るため、ピクセル指定しています。

そこまで画像が膨大にあるわけではないと思うのですが、エクセルに出力まで数十分以上？かかっていしまいます。（時間がかかりすぎて中断させていますが、途中までのデータが出力できているのでコードは正しいと思います。）

そこで、処理速度が速くなるように、現在のコードの改良などについてアドバイスをいただきたいです。


### 該当のソースコード
```Python
with pd.ExcelWriter("template.xlsx",mode='a',engine='openpyxl')as writer:
    for j in range(1,4):
        cluster=[]
        for i in range(1,64):
            img_i = "pic/type("+str(j)+")/data (" +str(i)+").png"
            img = Image.open(img_i)
        # 切り抜き
            img_1 = img.crop((266, 519, 462, 563))
            img_2 = img.crop((286, 563, 462, 608))
            img_3 = img.crop((266, 608, 462, 652))
        # ＯＣＲ実行
            builder = pyocr.builders.TextBuilder(tesseract_layout=6)
            result1 = tool.image_to_string(img_1,builder=builder)
            result2 = tool.image_to_string(img_2,builder=builder)
            result3 = tool.image_to_string(img_3,builder=builder)
            list=[result1,result2,result3]
            cluster.append(list)
            df=pd.DataFrame(cluster)
        df.to_excel(writer,sheet_name="type("+str(j)+")a")
```

### 試したこと
コード作成当初より大きく文量を減らし、for文でまとめることができましたが、処理速度が遅いです。

### 補足情報
anacondaのJupiter Labを使っています。


OCRによる画像処理速度を向上させたい

OCRを用いたプログラムの開発をしているのですが、その中で**特定の文字種に特化した学習素材**が必要になりました。
しかし、有効と思われる素材が中々見つからなかったので、自作することにしました。
現状、精度は重視せず、とりあえず使えるものを作るだけ作ろうと考えています。

https://ebi-works.com/ocr-python/
↑こちらのサイトを参考にしようと思っているのですが、
> 本来は自分で素材を準備して使用するのが良いですが、今回はネット上に公開されている機械学習向けの素材を使用させていただきます。
とのことで、学習素材そのものを作る方法は書かれていません。
また同サイトで提示されているletter.dataについても、画像化および画像のテキスト化の方法が分からず困っています。

_**letter.dataはどのようなファイルで、どうやって作られたものなのでしょうか？**_
また、_**このような学習素材を自作する場合、どのような手順を踏むのが適切でしょうか？**_

### 試したこと

「OCR」「学習データ」「作り方」などで検索をかけてみたものの、出てくるのはOCR技術や学習素材の使い方ばかりで、素材の作り方は出てきませんでした。
また、letter.dataをメモ帳やバイナリエディタで開いてみましたが、規則的な書き方はされていたもののそれ以上の手掛かりは得られませんでした。[当該ファイルのDL元](http://ai.stanford.edu/~btaskar/ocr/)によると、手書きの文字をラスター化？しているようですが…。

### 補足情報（FW/ツールのバージョンなど）

開発にはPython 3.11.5を用いていますが、学習素材を作るのに不向きであれば別の環境を使うことも視野に入れています。


OCRの学習素材を自作する方法

### 実現したいこと
-python Tesseract-OCRが日本語の言語データファイルを開けないので、開けるようにしたい

### 前提

pythonでOCRをつかう機能を実装中に以下のエラーメッセージが出ました

### 発生している問題・エラーメッセージ

```
Traceback (most recent call last):
  File "test_1.py", line 25, in <module>
    result = tool.image_to_string(img_org, lang="jpn", builder=builder)
  File "/home/△△△/.local/lib/python3.8/site-packages/pyocr/tesseract.py", line 372, in image_to_string
    raise TesseractError(status, errors)
pyocr.error.TesseractError: (1, b'Error opening data file C:\\Program Files\\Tesseract-OCR\\tessdata/jpn.traineddata\n
Please make sure the TESSDATA_PREFIX environment variable is set to your "tessdata" directory.
\nFailed loading language \'jpn\'\nTesseract couldn\'t load any languages!\nCould not initialize tesseract.\n')
```

### 該当のソースコード

```python
import os
import sys
from PIL import Image
import pyocr
import pyocr.builders

TESSERACT_PATH = 'C:\\Program Files\\Tesseract-OCR'
TESSDATA_PATH = 'C:\\Program Files\\Tesseract-OCR\\tessdata'

os.environ["PATH"] += os.pathsep + TESSERACT_PATH
os.environ["TESSDATA_PREFIX"] = TESSDATA_PATH

tools = pyocr.get_available_tools()
if len(tools) == 0:
    print("No OCR tool found")
    sys.exit(1)
tool = tools[0]

# 画像の読み込み
img_org = Image.open("/mnt/c/Users/orcbo/Documents/src/48.jpg")

# OCRの実行
builder = pyocr.builders.TextBuilder()
result = tool.image_to_string(img_org, lang="jpn", builder=builder)

print(result)
```

### 試したこと

・システム環境変数に変数名"TESSDATA_PREFIX"変数値"C:\Program Files\Tesseract-OCR\tessdate"を設定したこと
・tesseract 48.png output_48 -l jpnのコマンド成功したこと

### 補足情報
wsl ubuntu 20.04.6 LTSを使用
python 3.8.10
VScodeを使用


python Tesseract-OCRが日本語の言語データファイルを開けない

### 実現したいこと
・エラーをなくし、画像の読み込みを成功させる。

### 前提

python　OCRでの画像の読み込みエラーが出る


### 発生している問題・エラーメッセージ

```
Traceback (most recent call last):
  File "test_1.py", line 20, in <module>
    img_org = Image.open("C:\\Users\\〇〇〇\\Documents\\src\\48.jpg")
  File "/home/△△△/.local/lib/python3.8/site-packages/PIL/Image.py", line 3227, in open
    fp = builtins.open(filename, "rb")
FileNotFoundError: [Errno 2] No such file or directory: 
'C:\\Users\\〇〇〇\\Documents\\src\\48.jpg'
```

### 該当のソースコード

```python
import os
import sys
from PIL import Image
import pyocr
import pyocr.builders

TESSERACT_PATH = 'C:\\Program Files\\Tesseract-OCR'
TESSDATA_PATH = 'C:\\Program Files\\Tesseract-OCR\\tessdata'

os.environ["PATH"] += os.pathsep + TESSERACT_PATH
os.environ["TESSDATA_PREFIX"] = TESSDATA_PATH

tools = pyocr.get_available_tools()
if len(tools) == 0:
    print("No OCR tool found")
    sys.exit(1)
tool = tools[0]

# 画像の読み込み
img_org = Image.open("C:\\Users\\〇〇〇\\Documents\\src\\48.jpg")

# OCRの実行
builder = pyocr.builders.TextBuilder()
result = tool.image_to_string(img_org, lang="jpn", builder=builder)

print(result)
```
### 試したこと
パスに使用しているバックスラッシュを一つにしたり”./48.jpg””に変更してもダメでした。

### 補足情報（FW/ツールのバージョンなど）
VScode
Python 3.8.10
WSLのubuntu

48.jpgの絶対パスは"C:\\Users\\〇〇〇\\Documents\\src\\48.jpg"です。
vscodeのパスをコピーから取りました。




python OCRでの画像の読み込みエラー

プログラミング勉強中の初心者です。
anaconda環境のPycharmにてconda経由でPytesseract,tesseract,pyocrをインストールし、
動作確認のため下記のコードを実行したのですが

Will use tool 'Tesseract (sh)'
Available languages: Traceback (most recent call last):
  File "C:\Users\.....\PycharmProjects\PysimpleGUI\XXXX.py", line 18, in <module>
    lang = langs[0]
IndexError: list index out of range

と表記され実行できません
色々調べましたがごちゃごちゃになってわからないので解決策を教えてほしいです。


```python
from PIL import Image
import sys

import pyocr
import pyocr.builders

tools = pyocr.get_available_tools()
if len(tools) == 0:
    print("No OCR tool found")
    sys.exit(1)
tool = tools[0]
print("Will use tool '%s'" % (tool.get_name()))


langs = tool.get_available_languages()
print("Available languages: %s" % ", ".join(langs))
lang = langs[0]
print("Will use lang '%s'" % (lang))
```

# 試したこと
・anaconda promptにてconda listにてPytesseract,tesseract,pyocrをインストールされているか、バージョンが最新かの確認
→すべてインストール済、最新版(いずれもconda install -c conda-forge～　でインストール)
・anaconda環境のプロジェクトか確認→そう
・anaconda promptにてtesseract versionからtesseract --list-langsから言語を確認
→  jpnとjpn_vertの両方を確認

・試しに日本語がはっきり書かれている画像をカレントディレクトリに置き下記のコードでテキストを読み取らせる

```python
from PIL import Image
import sys

import pyocr
import pyocr.builders
pyocr.tesseract.TESSERACT_CMD = r'<full_path_to_your_tesseract.exe>'
(pyocr.tesseract.TESSERACT_CMD = r'<full_path_to_your_pytesseract.exe>'としても同じ結果)
tools = pyocr.get_available_tools()
if len(tools) == 0:
    print("No OCR tool found")
    sys.exit(1)
tool = tools[0]
print("Will use tool '%s'" % (tool.get_name()))

txt = tool.image_to_string(Image.open('test.png'),lang="jpn",builder=pyocr.builders.TextBuilder(tesseract_layout=6))
print(txt)
```
環境変数などの設定は行っていません。
実行の際TESSERACT_CMDの行抜きですと下記のようにエラーが出ました

```python
C:\Users\ユーザ名\anaconda3\python.exe C:\Users\fユーザ名\PycharmProjects\PysimpleGUI\....\....\XXX.py 
Will use tool 'Tesseract (sh)'
Traceback (most recent call last):
  File "C:\Users\ユーザ名\PycharmProjects\PysimpleGUI\....\....\XXX.py", line 15, in <module>
    txt = tool.image_to_string(Image.open('test.png'),lang="jpn",builder=pyocr.builders.TextBuilder(tesseract_layout=6))
  File "C:\Users\ユーザ名\anaconda3\lib\site-packages\pyocr\tesseract.py", line 372, in image_to_string
    raise TesseractError(status, errors)
pyocr.error.TesseractError: (1, b'Error opening data file ./jpn.traineddata\r\nPlease make sure the TESSDATA_PREFIX environment variable is set to your "tessdata" directory.\r\nFailed loading language \'jpn\'\r\nTesseract couldn\'t load any languages!\r\nCould not initialize tesseract.\r\n')

プロセスは終了コード 1 で終了しました

```
行を入れた際はNo OCR tool found と出ます。
未使用の import ステートメント 'import pyocr'
'imported module pyocr' の参照 'tesseract' が見つかりませんと表示される。

また、r'<full_path_to_your_tesseract.exe>'
の箇所はきちんとtesseract.exeの絶対パスを指定しています。
（anaconda prompt にて　where tesseractで表示された絶対パスが同じであることを確認済)

anaconda promptにて、
set TESSDATA_PREFIX=C:\Users\ユーザー名\anaconda3\pkgs\tesseract-5.3.0-...........\share\tessdata
を実行後、再度コードを実行。
→試してうまくいかないので追記。


# 環境
・PyCharm Community Edition 
・anaconda3
・windows10


Python tesseractで翻訳ができない


仕事で個人的に使うRPAツールを作成しました。
pyautoguiを使用して1秒毎にスクリーンショットを撮影し、そこに画像認識系のPILやcv2、pyocrなどを利用するツールです。
初めてこういった画像認識系のモジュールを利用して、できることの多さに感動しました。

技術的に気になったことがあります。
私が普段遊んでいるオンラインゲームなどでBOTが規約違反で時折BANされていますが、どうやって検知してるのでしょうか？
BOTは通信やプログラムの挙動を不正に傍受してると想像していたのですが、画像認識でもBOTが作成可能ということがわかり気になりました。

GHATGPTに質問したり、色々調べたところスマホではスクリーンショットを検知できるということはわかりました。
PCソフトの場合、スクリーンショットを検知することはできるのでしょうか？

アプリインストール時の規約次第だとは思いますが、（ユーザーがどこまでPCの中身を見せるかなどの許可）
ユーザーの起動しているスクリプトなども検知できるのでしょうか？



スクリーンショットの検知

### 実現したいこと

ゲームのステータス画面のスクショから
ステータスを数値で取得して記録するようなウェブアプリを作りたいです

### 発生している問題

Tesseract.js というのでOCRを行ってみたのですが
漢字やレイアウトは完全に固定で変化する数字だけ認識したいだけなので
簡単にできるかと思ったんですが認識精度がかなり悪いです

### 該当のソースコード

https://jsfiddle.net/gq4ry9ha/2/

### 試したこと

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-04-14/bf12fd68-cbaa-4090-9f0b-de6dd6ab0ec0.jpeg)
という画像を読み込ませたところ以下のように後半の数字はかろうじて読めてますが
前半の桁数の多い数字や少数点なんかが認識されません

```
@ RENIBEEBELR
IS 5370 " 5370
[5:15:val 72704 I
Bl 13018
Eisin 16471
R BE
P 336 387
(g 11 7
DTV EEE 87 41 |
DUTAANEA=Y 2288, 2617
Bl 1245 127 | "
BASA— 1940 2315 [
b-sina) 90 96
YO T Ry IEA—Y 59 58
IBNAA— 170830 202838
HA-ViED 2001 1552
= 2
EAA—BMEA-Y 111230 59178
ERA-FEN 159 126
=LA Ligil 827
TERR(E 2600
TATLFOyTE 356
AT AFERE 22026
Ely IEFE 923
DL SR 464
TRENEE 513
```

whitelist を使われてる文字と数字だけに限定したり
言語を jpn にしたりしてみましたが悪化するだけでした

ラベル部分は固定で読む必要はないので英語モードでも
無視すればいいだけなんですが長い桁の数字は読めてほしいです

https://ezocr.net/OCR
こちらの有料？のGoogle API を使ってる回数制限のあるサービスだと
以下のようにほぼ完璧に認識できています
```
能力値詳細情報
筋力
魔法
HP
sp
武器攻撃力
防御力
属性
抵抗
792468 「体力
872856 ☆幸運
命中率
回避率
クリティカル確率
クリティカルダメージ
最小ダメージ
最大ダメージ
貫通力
バックアタックダメージ
追加ダメージ
ダメージ減少
モンスター追加ダメージ
モンスター支配力
クールタイム減少
経験值
アイテムドロップ率
オプション発生確率
Ely 獲得量
クエスト報酬
移動速度
3786881/4474100
2400200/2621978
5370 5370
物理
72704
13018
16471
一般
336
11
37
2288
1246
1940
90
59
170830
2001
111230
15.9
400512
400948
32.7
2600
356
22026
923
464
513
魔法
387
7
41
2617
1427
2315
ボス
96
58
202838
1552
59178
12.6
```

無料のライブラリだと限界なんでしょうか
パラメータやオプション等で改善する方法や
Tesseract.js　以外にもjavascript から使えるOCRライブラリがあれば教えていただけるとうれしいです

---

4/18 追記

コメントで頂いた通りモノクロに加工したらすごーく認識精度が上がりました
ただやっぱり上部の太字の数字は一切認識できないようです
同じ画像内でフォントが違うとダメみたいですね

あと向上したと言っても８割ぐらいで実用にはかなり遠い感じです

### 該当のソースコード

https://jsfiddle.net/3yjwL0fx/3/

### 認識結果

```
12~     1 3  51      . 
 15 3786881/4474100 5
3 2400200/2621678
  3151271 53705370
5 72704
5    1201
151  18471
2 55 
5  5 29 335 587
  59 1 7
7 5471/ 5 9 7 0
75471/ 9  7 2286 2017
 /1~9  ~ / 1246 1
3 1240 5
5171 9  95
~~7779~779  ~ / 5 5
 5 119  ~ / 170830 20283
9  75  ~ 2001 552
~ /4 1 .
111080 1
2 158 125
7 / 94 5  ~ 527
93 1  2500
76   3~779 350
377395  5 9 2028
9  65  023
2 454
1517151 2 513
```


ゲーム画像の数字認識したい

こんにちは。

OCRで、PDFや画像データに書かれている表の部分を取得したいと考えています。
調べたところ、pythonの[camelot](https://miyashinblog.com/camelot/)というライブラリを使用すれば、表の部分を取得できることが分かりました。
ですが、斜めに傾いた表には対応していない様なので、傾いた場合でも取得できるライブラリなどがないかなと思い、質問させて頂きました。

宜しくお願い致します。