CloudVisionAPIでOCR(DOCUMENT_TEXT_DETECTION)

Question

CloudVisionAPIのDOCUMENT_TEXT_DETECTIONを用いて画像から文字を抽出しています
使用言語:Python3

問題点:レスポンスにconfidenceという情報が含まれ、confidenceはすべてのblock/paragraph/word/symbolに含まれています。しかし、symbolにconfidenceが含まれないことが稀に起こります。確率的には48036文字中67文字です。あらゆる角度から検証しましたが、理由がわかりません。

確認に用いたコード

import json
import glob
json_path_from_list=glob.glob('./RawJSON/*')
#confidenceが含まれなかった回数
no_confidence_number=0
#総文字数
char_number=0
for json_path_from in json_path_from_list:
    with open(json_path_from) as fr:
        json_data = json.load(fr)
        for response_j in json_data["responses"]:
            for page_j in response_j["fullTextAnnotation"]["pages"]:
                for block_j in page_j["blocks"]:
                    x=block_j["confidence"]
                    for paragraph_j in block_j["paragraphs"]:
                        x=paragraph_j["confidence"]
                        for word_j in paragraph_j["words"]:
                            x=word_j["confidence"]
                            #confidenceを保持しない文字の信用度格納
                            symbol_confidence_list=[]
                            #confidenceを保持しない文字が作る単語格納
                            word=""
                            #symbolsのループが終わって、confidenceを保持しない文字が含まれていた場合、諸々表示のフラグ
                            flag=0
                            for symbol_j in word_j["symbols"]:
                                #総文字数カウント
                                char_number+=1
                                try:
                                    #confidenceをとってこれるか
                                    x=symbol_j["confidence"]
                                    #単語生成
                                    word=word+symbol_j["text"]
                                    #信用度格納
                                    symbol_confidence_list.append(symbol_j["confidence"])
                                except:
                                    #単語生成
                                    word=word+symbol_j["text"]
                                    #confidenceを保持しなかった文字を記憶
                                    no_confidence_text=symbol_j
                                    #printフラグを立てる
                                    flag=1
                            #symbolsの中にconfidenceを持たない文字があった時だけ詳細情報を表示
                            if flag==1:
                                #confidenceがなかった文字数カウント
                                no_confidence_number+=1
                                #ファイル名
                                print(json_path_from)
                                #単語
                                print(word)
                                #confidenceを保持していなかった文字
                                print(no_confidence_text)
                                #上位Wrapperの信用度
                                print(word_j["confidence"])
                                print(paragraph_j["confidence"])
                                print(block_j["confidence"])
                                #信用度を保持していなかった文字を除く文字たちの信用度
                                print(symbol_confidence_list)
                                print("____________________________＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿")
                            else:pass
#confidenceがなかった文字数
print(no_confidence_number)
#総文字数
print(char_number)

念のためにCloudVisionAPIに投げたリクエストも見てください
DOCUMENT_TEXT_DETECTIONに対して、日本語の指定をしただけです

import json
import base64
import requests
#base64エンコード関数
def convert_img_to_base64(img_path):
    img_data = open(img_path, 'rb').read()
    img_base64 = base64.b64encode(img_data).decode()
    return img_base64
#OCRクラスの定義
class OCR:
    def __init__(self,api_key):
        self.api_key=api_key
    def get_json_responce_from_img(self,img_base64,json_request):
        json_request['requests'][0]['image']['content']=img_base64
        url="https://vision.googleapis.com/v1/images:annotate?key="+self.api_key
        result=requests.post(url,json.dumps(json_request),headers={'Content-Type': 'application/json'})
        return result.text
#APIキー
API_KEY="XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"
#画像のパス
img_path="./test.jpg"
#JSONリクエスト文
json_request={'requests':[{'image':{'content':""},'features': {'type': "DOCUMENT_TEXT_DETECTION"},'imageContext':{'languageHints':"ja"}}]}
#img_base64に変換後の画像を保存
img_base64=convert_img_to_base64(img_path)
#OCRクラスのインスタンス生成
ocr=OCR(API_KEY)
#JSONレスポンス
data=json.loads(ocr.get_json_responce_from_img(img_base64,json_request))
#JSONレスポンスを保存
with open("./test.json",'w') as fw:
    json.dump(data,fw,indent=4)

Answer 1

その他にも、矩形領域が抜け落ちるなど、ちらほら不具合がありましたので、バグと認定しまして、対策を講じました

Answer 2

https://cloud.google.com/vision/docs/reference/rest/v1/images/annotate

携帯からなので間違ってたらすいません。confidenceは廃止に見受けられますが、違いますかね？

Comments

[yamato_user]

そちらの写真はtextAnnotationのレスポンスの説明と思われます。fullTextAnnotationはconfidenceは健在です。回答してくださったページをもう一度詳しく見てみましたが、やはり、confidenceがレスポンスに付与されないことは考えられないです。。。。どういうことなんでしょうか？？？

[YouheiSakurai]

それは失礼しました。これ以上は私から何もありません。