スキャンデータ（pdf）→画像化→ハフ関数で線の検出し、線を削除→ocrをかけて文字を読み取る。が上手くいかなくて困ってます

Question

前提・実現したいこと

表題の通り、pythonにて次の手順を行うコードを書いていますが、⑤のハフ関数で下線の検出が上手くいきません。
・スキャンデータ（pdf）を画像化（JPEG）化する
・各ページごとに次の手順を行う
①pdfをJPEGとして保存
②画像を必要箇所だけ切り取る
③画像をグレースケールに変換
④（ハフ関数で検出しやすくするために）③を白黒反転
⑤線をハフ関数で検出
⑥検出した線を③から削除（白線に置き換える）
⑦⑥にocrをかけて文字を読み取る

どうかお助け下さい…よろしくお願いいたします…

発生している問題・エラーメッセージ

⑤で線がひとつも検出されない。
そのため、下記のエラーコードが出ます

    for line in lines:
TypeError: 'NoneType' object is not iterable

該当のソースコード

# プログラム｜ライブラリ設定
import PyPDF2
import pathlib
import os

from pdf2image import convert_from_path
from PIL import Image
import sys
from pyocr import pyocr
from pyocr import builders
import cv2
import numpy as np
import pandas as pd

file = './321121709540.pdf'
scan = file.replace('.pdf','')

# インストール済みのTesseractのパスを通す
path_tesseract = r"C:\Users\AppData\Local\Programs\Tesseract-OCR"
if path_tesseract not in os.environ["PATH"].split(os.pathsep):
    os.environ["PATH"] += os.pathsep + path_tesseract

# OCRエンジンの取得
tools = pyocr.get_available_tools()
#print(tools)
tool = tools[0]

# プログラム2｜フォルダ内のPDFを全て取得
curdir = os.getcwd()
 
# プログラム4｜分割したPDFを保管するためのフォルダ作成
path = os.path.join(curdir, scan)
if not os.path.isdir(path):
    os.makedirs(path)

pdf_path = file

# PDF -> Image に変換（150dpi）
pages = convert_from_path(str(pdf_path), 150)

# 画像ファイルを１ページずつ保存
for i, page in enumerate(pages):

    image_path = os.path.join(path, f'{i}.jpeg')
    print(image_path)
    # JPEGで保存
    page.save(str(image_path),"JPEG")

    #画像を切り取る
    imp_crop = Image.open(image_path).crop((700,200,1200,400))
    imp_crop.save(image_path)

    #画像の線を消す
    img00 = cv2.imread(image_path)
    ##画像をグレースケールに変換
    gray = cv2.cvtColor(img00, cv2.COLOR_BGR2GRAY)
    #cv2.imwrite(image_path, gray)
    
    ##画像を白黒反転する（下線を検出しやすくするため）
    bw = cv2.bitwise_not(gray)
    bw_image = os.path.join(path, f'{i}_bw.jpeg')
    cv2.imwrite(bw_image, bw)
    
    ##下線を検出
    lines = cv2.HoughLinesP(bw, rho=1, theta=np.pi/180, threshold=200, minLineLength=400, maxLineGap=2)
    print(lines)

    ##線を消す（白線を引く）
    for line in lines:
        x1, y1, x2, y2 = line[0]
        # 線を消す(白で線を引く)
        no_lines_img = cv2.line(gray, (x1,y1), (x2,y2), (255,255,255), 3)

    # 4.ＯＣＲ実行
    builder = builders.TextBuilder(tesseract_layout=6)
    result = tool.image_to_string(no_lines_img, lang="eng", builder=builder)

    print(result)

試したこと

下のコードのように
pdfをページごとに分割した後に画像化をすると上手くいくので、おそらくJPEG化あたりで何かを間違えているのがと思いますが、原因が分からず困っている状態です。

# プログラム｜ライブラリ設定
import PyPDF2
import pathlib
import os

from pdf2image import convert_from_path
from PIL import Image
import sys
from pyocr import pyocr
from pyocr import builders
import cv2
import numpy as np
import pandas as pd

file = './9510.pdf'
scan = file.replace('.pdf','')

# インストール済みのTesseractのパスを通す
path_tesseract = r"C:\Users\AppData\Local\Programs\Tesseract-OCR"
if path_tesseract not in os.environ["PATH"].split(os.pathsep):
    os.environ["PATH"] += os.pathsep + path_tesseract

# OCRエンジンの取得
tools = pyocr.get_available_tools()
#print(tools)
tool = tools[0]

# プログラム2｜フォルダ内のPDFを全て取得
curdir = os.getcwd()
 
# プログラム4｜分割したPDFを保管するためのフォルダ作成
path = os.path.join(curdir, scan)
if not os.path.isdir(path):
    os.makedirs(path)

# プログラム5｜PDFを分割
pdf = PyPDF2.PdfFileReader(file)
for page in range(pdf.numPages):
    print(page)
    newpdf = PyPDF2.PdfFileWriter()
    newpdf.addPage(pdf.getPage(page))
    
    # PDFをページごとに分割
    pageNo = format(page, '0>3')
    splitpdf = os.path.join(path, f'{pageNo}.pdf')
    with open(splitpdf, 'wb') as f:
            newpdf.write(f)
    
    # 3.pdfからjpgへの変換
    img = convert_from_path(splitpdf)
    filename = splitpdf.replace(".pdf",".jpg")
    #print(img)
    for images in img:
        images.save(filename)


    filename0 = splitpdf.replace(".pdf","")
    #画像を切り取る
    imp_crop = Image.open(filename).crop((900,200,1600,400))
    imp_crop.save(filename)

    #画像の下線を消す
    img00 = cv2.imread(filename)
    ##画像をグレースケールに変換
    gray = cv2.cvtColor(img00, cv2.COLOR_BGR2GRAY)
    #cv2.imwrite(filename0+"_gray.jpg", gray)
    
    ##画像を白黒反転する（下線を検出しやすくするため）
    gray2 = cv2.bitwise_not(gray)
    #cv2.imwrite(filename0+"_blackandwhite.jpg", gray2)
    
    ##下線を検出
    lines = cv2.HoughLinesP(gray2, rho=1, theta=np.pi/180, threshold=200, minLineLength=400, maxLineGap=2)
    print(lines)

    ##線を消す（白線を引く）
    for line in lines:
        x1, y1, x2, y2 = line[0]
        # 線を消す(白で線を引く)
        no_lines_img = cv2.line(img00, (x1,y1), (x2,y2), (255,255,255), 3)
        cv2.imwrite(filename0+"_noline.jpg", no_lines_img)
    os.remove(filename)

    # 3.原稿画像の読み込み

    img_org = Image.open(filename0+"_noline.jpg")

    # 4.ＯＣＲ実行
    builder = builders.TextBuilder(tesseract_layout=6)
    result = tool.image_to_string(img_org, lang="eng", builder=builder)

    print(result)

Comments

[ppaul]

白紙で線一本だけのPDFを使っても同じエラーになりますか？

[yohoho]

ご質問ありがとうございます。
白紙で線一本だけのpdfを使っても同じエラーになります。
「試したこと」に追記しました別の方法では、同じpdfを使っても線は検出されますので、
最初の下記手順の当たりで何かを間違えているのかもしれません。

・スキャンデータ（pdf）を画像化（JPEG）化する
・各ページごとに次の手順を行う
①pdfをJPEGとして保存

お忙しいところ大変恐縮ですが、ご教示いただけますと幸いです…

[ppaul]

・スキャンデータ（pdf）を画像化（JPEG）化する
成功しているか失敗しているかは、できたファイルを表示してみればわかるでしょう。

[yohoho]

ご返信ありがとうございます。
・スキャンデータ（pdf）を画像化（JPEG）化する
ここで画像化したファイルは、問題なく表示することができます。
また、①で分割後に保存したJPEGファイルも問題なく表示することができます。