ハフ変換で本をセグメントしたいです

Question

前提・実現したいこと

本棚の画像を読み込ませて、画像の中に何の本があるかを推定するものを作りたいです。

そのための手順として

1. 本棚の画像から本ごとにハフ変換でエッジ検出してセグメントする
2. 本の文字を読み込む

というものなのですが、ハフ変換のところでつまづいています。

発生している問題・エラーメッセージ

上の画像を読み込ませると、検出される直線の数がとても少ないです。

(元画像)

（Canny変換をした画像）

（ハフ変換をした画像）

該当のソースコード

import cv2
import numpy as np

img = cv2.imread('input.jpg')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
edges = cv2.Canny(gray,50,150,apertureSize = 3)

lines = cv2.HoughLines(edges,1,np.pi/180,200)
print(len(lines))
for line in lines:
    for rho,theta in line:
        a = np.cos(theta)
        b = np.sin(theta)
        x0 = a*rho
        y0 = b*rho
        x1 = int(x0 + 1000*(-b))
        y1 = int(y0 + 1000*(a))
        x2 = int(x0 - 1000*(-b))
        y2 = int(y0 - 1000*(a))

        cv2.line(img,(x1,y1),(x2,y2),(0,0,255),2)

cv2.imwrite('output.jpg',img)

試したこと

cvs.cannyや'cv2.HoughLines'のパラメーターを色々変えてみましたがうまくいきません。本の検出の精度を上げるためにはどのような工夫をすればいいか教えてください。

補足情報（FW/ツールのバージョンなど）

論文はこちらのサイトを読みました。ハフ変換で処理していたのでハフ変換でうまく機能すると思います。
https://faculty.ist.psu.edu/zzhou/paper/JCDL17-SmartLibrary.pdf

Comments

[ikadzuchi]

「edges」の状態の画像が欲しいです。

[退会済みユーザー]

状態画像を追加しました。よろしくお願いします

Answer 1

lines = cv2.HoughLines(edges,1,np.pi/180,150)

150のところが、変更した閾値ですが、これが投票数の閾値で、小さくするとたくさん本数が示されます。ご質問の時から時間が経ってますが、見栄えがよくなったので、一応報告します。

Answer 2

リンク先で一瞬だけ単語"Hough"を検索してみた程度ですが，
その論文ではHough変換は "dominant direction" (多分，本の方向≒画像の回転具合というか)を得ることに用いているだけであるように見えます．
同様のことをするなら，今の結果でも十分ではないでしょうか？

---

とりあえず提示されたcannyの結果からハフ変換一発で所望の線群（本と本の境界）だけを取り出そうというのは難しいと思います．
余計な（文字等の）エッジ点由来の投票量の方が圧倒的に強くなりそうです．

まずは，エッジ点を絞り込むことを考えた方が良いように思います．

• 上記のdominant directionの方向から外れているやつは捨てる
• 周辺の勾配方向の分布がばらばらなやつは捨てる

とか．

（エッジがまっすぐでなく曲がっている場所があるのも，ハフ変換でやるには面倒かな？というのもありますが）

---

微妙に似たような？話

Comments

[退会済みユーザー]

おお、ありがとうございます！
hough変換は回転軸を見つけるために使われてるだけで、背表紙の抽出には全然使われていませんでした。そう言われて読み返してみると論文を完全に誤読していることがわかりました。

どうやら四角形の抽出には
テキスト部分とそうでない部分を抽出するCNNのアルゴリズムの作成が必要だとわかりました！

本の境界線部分の抽出は別のCNNのアルゴリズムを用いて抽出できるようで、正直よくわかっていません...
ですがこれで詰まっていた部分が進みそうなのでありがとうございました！