PHPでVisionAPIを使用してOCRを行う。

Question

サイト作成の勉強中です。

一通りHTMLやCSS、IS、PHPを勉強したので業務でレシートをExcelに転記しているのでスマホで撮影したレシートを読み込み、DBに保存するプログラムを作成しようと思いました。
PHPでVisionAPIを使用したサンブルだとうまく読み込めず・・・レシート左の品名と単価が別れて表示されます。
そこでいろいろ検索したところ、以下の記事に辿り着きました。
https://qiita.com/shoku-pan/items/bf5645894803769edc72
これをPHPに書き換えたら、うまく行として読み込めると思った次第です。

作ったPHPは以下のとおりです

<?PHP
// APIキー
$api_key = "私のAPIキー" ;

// リクエスト用のJSONを作成
$json = json_encode( array(
  "requests" => array(
    array(
      "image" => array(
        "content" => str_replace("data:image/png;base64,", "", $_POST['image']),
      ) ,
      "features" => array(
        array(
          "type" => "TEXT_DETECTION",
          "maxResults" => 10,
        ) ,
      ) ,
      "imageContext" => array(
				"languageHints" => array("ja"),
      ),
    ) ,
  ) ,
) ) ;

// リクエストを実行
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, "https://vision.googleapis.com/v1/images:annotate?key=" . $api_key);
curl_setopt($curl, CURLOPT_HEADER, true);
curl_setopt($curl, CURLOPT_CUSTOMREQUEST, "POST");
curl_setopt($curl, CURLOPT_HTTPHEADER, array("Content-Type: application/json"));
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
if(isset($referer) && !empty($referer)) curl_setopt($curl, CURLOPT_REFERER, $referer) ;
curl_setopt($curl, CURLOPT_TIMEOUT, 15);
curl_setopt($curl, CURLOPT_POSTFIELDS, $json);
$res1 = curl_exec($curl);
$res2 = curl_getinfo($curl);
curl_close($curl);

// 取得したデータ
$json = substr($res1, $res2["header_size"]);
$array_json=json_decode($json, true);

$document = $array_json["responses"]["0"]["fullTextAnnotation"];
$bounds = array();
foreach ($document["pages"] as $pages){
  foreach ($pages["blocks"] as $block) {
    foreach ($block["paragraphs"] as $paragraph) {
      foreach ($paragraph["words"] as $words) {
        foreach ($words["symbols"] as $symbol) {
          $x = $symbol["boundingBox"]["vertices"]["0"]["x"];
          $y = $symbol["boundingBox"]["vertices"]["0"]["y"];
          $text = $symbol["text"];
          array_push($bounds, array("x" => $x, "y" => $y, "text" => $text));
        }
      }
    }
  }
}
$ys = array_column($bounds, "y");
array_multisort($ys, SORT_ASC, $bounds);
$old_y = -1;
$line = array();
$lines = array();
$threshold = 1;
foreach($bounds as $bound) {
  $x = $bound["x"];
  $y = $bound["y"];
  if ($old_y == -1) {
    $old_y = $y;
  }
  elseif ((($old_y - $threshold) <= $y) && ($y <= ($old_y + $threshold))) {
    $old_y = $y;
  }
  else {
    $old_y = -1;
    $xs = array_column($line, "x");
    array_multisort($xs, SORT_ASC, $line);
    array_push($lines, $line);
    $line = array();
  }
  array_push($line, $bound);
}
$xs = array_column($line, "x");
array_multisort($xs, SORT_ASC, $line);
array_push($lines, $line);

foreach($lines as $line) {
  $texts = "";
  foreach($line as $i) {
    $texts = $texts . $i["text"];
  }
  print_r($texts . "<br />");
}

この以下の画像を読み込むと、

※ネットで拾ったものです。

このようにOCRされます。
ま
いば
すと
けっ
TEL
045野庭町店
-840101063
-62FAX045840-
領収証-
営業時間:あさ9時~よる11時
年中無休
レジ01042019/6/28(金)17:05
EX7345:002153742
どん兵衛釜たま風うどん276
<2個X単138)
カルピスカルピスウォー184
<2個X単92)
雪メグなめらかプリン98
とろりクリームプリン128
糖質みかんゼリー98
メイトーなめらかプリン88
QTTA明太チーズ味128
(ボーナスポイント30P)
小計¥1,000
外税8%対象額
¥1,000
外税8%
¥80
合計
¥1,080
現金
¥1,100
ID:0164
お釣り
¥20

少しでもズレがあると違う行になっているように見えます。
私としては、パイソンの

elif old_y-threshold <= y <= old_y+threshold:

elseif ((($old_y - $threshold) <= $y) && ($y <= ($old_y + $threshold))) {

ここが違うのかなぁと思うのですが、わかる方いらっしゃいますでしょうか？
アドバイスのほどよろしくお願いいたします。

Comments

[yuma.inaura]

参考サイトと全く同じ画像で試すとどうなりますか？

[goola]

結構きれいに読み込めてますね。
7セブン-イレブン
千代田店
東京都千代田区二番町8-8
電話:[phone]レｼﾞ#1
2019年10月01日(火)08:45責012
領収書
手巻おにぎり辛子明太子*130
コカコーラ500ml*140
パラドゥミニネイルPK03300
メビウスワン490
50円切手50非
小計(税抜8%)¥270
消費税等(8%)¥21
小計(税抜10%)¥300
消費税等(10%)¥30
小計(税込10%)¥490
小計(非課税)¥50
合計¥1,161
(税率8%対象¥291)
(税率10%対象¥820)
(内消費税等8%¥21)
(内消費税等10%¥74)
キャッシュレス還元額-22
nanaco支払¥1,139
お買上明細は上記のとおりです。
nanaco番号************6666
今回ポイント
2P
[*]マークは軽減税率対象です。

[goola]

レシートはどうしてもまるまるので、カメラで撮るのは難しいかもですね。
かといってスキャナを使うのも手間ですし・・・
良案ありませんかねぇ・・・

[goola]

このサイトレベルだと使えますが、傾きとかも考慮しているのでしょうか？
http://asprise.com/receipt-ocr-data-capture-api/extract-text-reader-scanner-index.html
ちなみに、まいばすけっとのレシートは、ここではスペースがうまく表現）できませんが、（上記サイト上ではきれいにスペースも表現できています
まいばすけっと
TEL[phone] FAX[phone] 野 庭 町 店
領 収 証
営業 時間: あさ 9 時 ~ よる 11 時
年 中 無休
レジ 0104 2019/6/28 (金) 17:05
取 7345 : 002153742
どん 兵衛 釜 たま 風 うどん 276
< 2 個 X 単 138)
カルピス カルピス ウォー 184
< 2 個 X 単 92)
雪 メグ なめらか プリン 98
とろり クリーム プリン 128
糖質 みかん ゼリー 98
メイトー なめらか プリン 88
QTTA 明太 チーズ 味 128
(ボーナス ポイント 30 P)
小 計 ¥ 1,000
外 税 8%対象 額 1,000
外 税 8% 80
合計 ¥ 1,080
現金 1,100
ID: 0164
お 釣り
¥ 20
こんな感じです。

Answer 1

読み込むレシートは決まっているので、一文字づつ読み込むのではなくて、一気読みしたテキストを改行ごとに読み込み、ハードコードできるか判断しようと思います。

text = $array_json["responses"]["0"]["textAnnotations"]["0"]["description"];
$arr = explode("\n", $text);
foreach($arr as $line) {
  echo $line . "<br />";
}