tfliteによる検出結果の見方がわからない

Question

今年に入ってから機械学習勉強開始した初心者です。

deeplabの学習データを使ってtflte作成、検出までをやろうとしています。
https://github.com/tensorflow/models/tree/master/research/deeplab

一応エラーが出ない状態で検出を実行できるようになったのですが、どの画像を投げても返ってくるのが0しか入っていない配列になります。

検出方法が間違っているのか？そもそもtfliteの作り方がおかしいのか切り分けしたく、検出のやり方がこれであっているのか、わかる方に教えてほしいです。

PASCAL VOCデータセットを使っています。

やったこと

deeplabのサンプルスクリプトでpbファイル作成（colabで）

tf/modelsのレポジトリをcloneしてきて local_test_mobilenetv2.shを使いました。
https://github.com/tensorflow/models/blob/master/research/deeplab/local_test_mobilenetv2.sh

local_test_mobilenetv2.shのmodelのエクスポート部分

python "${WORK_DIR}"/export_model.py \
  --logtostderr \
  --checkpoint_path="${CKPT_PATH}" \
  --export_path="${EXPORT_PATH}" \
  --model_variant="mobilenet_v2" \
  --num_classes=21 \
  --crop_size=513 \
  --crop_size=513 \
  --inference_scales=1.0

tfliteに変換

整数量子化して軽量化するための設定とかあるようですが、まだそこまで理解できていないのでなしで。

!tflite_convert \
  --graph_def_file=/content/models/research/deeplab/datasets/pascal_voc_seg/exp/train_on_trainval_set_mobilenetv2/export/frozen_inference_graph.pb \
  --output_file=/content/models/research/deeplab/datasets/pascal_voc_seg/exp/train_on_trainval_set_mobilenetv2/export/frozen_inference_graph.tflite \
  --output_format=TFLITE \
  --input_shape=1,513,513,3 \
  --input_arrays="MobilenetV2/MobilenetV2/input" \
  --change_concat_input_ranges=true \
  --output_arrays="ArgMax"

8MBぐらいになりました。

検出

from PIL import Image
import numpy
import sys
import cv2

# tflite読み込み（tfliteファイルは移動してます）
interpreter = tf.lite.Interpreter(model_path="/frozen_inference_graph.tflite")
interpreter.allocate_tensors()

# input output tensor取得
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

# 入出力フォーマットを確認
print('入出力フォーマットを確認')
print(input_details)
print(output_details)

# 入力のshape取得
input_shape = input_details[0]['shape']
print('shape確認')
print(input_shape)

# テスト画像
test_img = "/content/deeplab_sample/bicycle513x513.jpg"
image = Image.open(test_img)
image = image.convert("RGB")
image = image.resize((513, 513))
img_data = np.asarray(image, dtype=np.uint8)

# 画像shape変換
reshaped_img = img_data.reshape(input_shape)
print('入力データ')
print(reshaped_img)
interpreter.set_tensor(input_details[0]['index'], reshaped_img)

# 実行
interpreter.invoke()
output_data = interpreter.get_tensor(output_details[0]['index'])
print('出力データ')
print(output_data)
print(np.count_nonzero(output_data))

出力

入出力フォーマットを確認
[{'name': 'MobilenetV2/MobilenetV2/input', 'index': 6, 'shape': array([  1, 513, 513,   3], dtype=int32), 'shape_signature': array([  1, 513, 513,   3], dtype=int32), 'dtype': <class 'numpy.float32'>, 'quantization': (0.0, 0), 'quantization_parameters': {'scales': array([], dtype=float32), 'zero_points': array([], dtype=int32), 'quantized_dimension': 0}, 'sparsity_parameters': {}}]
[{'name': 'ArgMax', 'index': 0, 'shape': array([  1, 513, 513], dtype=int32), 'shape_signature': array([  1, 513, 513], dtype=int32), 'dtype': <class 'numpy.int64'>, 'quantization': (0.0, 0), 'quantization_parameters': {'scales': array([], dtype=float32), 'zero_points': array([], dtype=int32), 'quantized_dimension': 0}, 'sparsity_parameters': {}}]
shape確認
[  1 513 513   3]
入力データ
[[[[239. 247. 250.]
   [239. 247. 250.]
   [238. 246. 249.]
   ...
   [244. 247. 252.]
   [244. 247. 252.]
   [244. 248. 251.]]

  [[239. 247. 250.]
   [238. 246. 249.]
   [237. 245. 248.]
   ...
   [244. 247. 252.]
   [244. 247. 252.]
   [244. 248. 251.]]

  [[238. 245. 251.]
   [237. 244. 250.]
   [236. 243. 249.]
   ...
   [244. 248. 251.]
   [244. 248. 251.]
   [244. 248. 251.]]

  ...

  [[112. 120.  45.]
   [102. 111.  44.]
   [105. 112.  58.]
   ...
   [127. 113.  64.]
   [115. 101.  52.]
   [108.  88.  37.]]

  [[109. 126.   0.]
   [111. 128.  16.]
   [105. 118.  26.]
   ...
   [135. 121.  72.]
   [132. 118.  69.]
   [132. 112.  61.]]

  [[128. 135.  65.]
   [104. 111.  43.]
   [ 94. 100.  36.]
   ...
   [145. 124.  71.]
   [152. 131.  78.]
   [143. 126.  72.]]]]
出力データ
[[[0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]
  ...
  [0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]
  [0 0 0 ... 0 0 0]]]
0

試したこと

• 違う画像を使う

補足情報

本来は mask r-cnn で学習を行っていて、そっちで作成した学習データを使いたいのですが、h5ファイルからtfliteに変換するための情報がうまく見つけらないのと、変換時にわたすパラメータの理解がまだ悪く一旦あきらめました。でとりあえずdeeplabのサンプルを使ってtflite変換して検出する部分をやってみているところです。

https://github.com/matterport/Mask_RCNN

Answer 1

質問はクローズしていますが追加情報の共有です。
Mask R-CNNのTensorflow Liteコンバートに成功し、正常に動作することまで確認してベンチマークしました。スクリプトとモデルを更新しましたのでよろしければお使い下さい。
Mask R-CNNの変換用最新スクリプト群と変換済モデル

やはりモデルの構造がとても複雑ですので動作はかなり遅いです。なお、Tensorflow v2.2.0以降を導入しないと正常に変換できません。

$ pip3 install tf-nightly

として最新のパッケージを導入して下さい。また、一部の後処理のOPがTensorflow Liteに対応していませんので、変換オプションに特殊なパラメータを指定する必要があります。

Mask R-CNNの変換スクリプト本体

converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS,tf.lite.OpsSet.SELECT_TF_OPS]

Comments

[thinkdice]

情報ありがとうございます！
deeplabのほうが一段落したらトライしてみます。

そういえば、自分がウォッチしていたissueにも成功したという人がコメントしてました。
その人がシェアしてたコードです。ご存知かもしれませんが一応。
https://gist.github.com/bmabir17/754a6e0450ec4fd5e25e462af949cde6

[PINTO]

共有いただきありがとうございます。実はそのissueを存じ上げておりまして、2日前に実際に動かしてみました。が、環境がかなりレガシーなのものを想定されているのと、モデルのサイズが250MBほどあるものを前提にしていましたので、私はいったん後回しにいたしました。わりとハマりどころが多いと思います。時間が出来たら後日リトライしてみます。

Answer 2

試してみました。お使いのモデルと同じかどうかは分かりませんが、同じ手順を踏んでみました。結果的にはゼロ以外の値が正常に取得できているようです。トレーニング済みのモデルファイルを変更してみてはいかがでしょうか。
https://github.com/tensorflow/models/blob/master/research/deeplab/g3doc/model_zoo.md

$ wget http://download.tensorflow.org/models/deeplabv3_mnv2_pascal_trainval_2018_01_29.tar.gz
$ tar -zxvf deeplabv3_mnv2_pascal_trainval_2018_01_29.tar.gz

#export_model.py を編集
#input_image = tf.placeholder(tf.uint8, [1, None, None, 3], name=_INPUT_NAME)
input_image = tf.placeholder(tf.float32, [1, FLAGS.crop_size[0], FLAGS.crop_size[1], 3], name=_INPUT_NAME)

$ python3 export_model.py \
  --logtostderr \
  --checkpoint_path=deeplabv3_mnv2_pascal_trainval/model.ckpt-30000 \
  --export_path=export/deeplabv3_mnv2_pascal_trainval.pb \
  --model_variant=mobilenet_v2 \
  --num_classes=21 \
  --crop_size=257 \
  --crop_size=257 \
  --inference_scales=1.0

$ tflite_convert \
  --graph_def_file=export/deeplabv3_mnv2_pascal_trainval.pb \
  --output_file=export/deeplabv3_mnv2_pascal_trainval.tflite \
  --output_format=TFLITE \
  --input_shape=1,257,257,3 \
  --input_arrays=ImageTensor \
  --change_concat_input_ranges=true \
  --output_arrays=SemanticPredictions

from PIL import Image
import numpy as np
import sys
import cv2
import tensorflow as tf

# tflite読み込み（tfliteファイルは移動してます）
interpreter = tf.lite.Interpreter(model_path="deeplabv3_mnv2_pascal_trainval.tflite")
interpreter.allocate_tensors()

# input output tensor取得
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

# 入出力フォーマットを確認
print('入出力フォーマットを確認')
print(input_details)
print(output_details)

# 入力のshape取得
input_shape = input_details[0]['shape']
print('shape確認')
print(input_shape)

# テスト画像
test_img = "individualImage.png"
image = Image.open(test_img)
image = image.convert("RGB")
image = image.resize((257, 257))
img_data = np.array(image, dtype='f4')

# 画像shape変換
reshaped_img = img_data.reshape(input_shape)
print('入力データ')
print(reshaped_img)
interpreter.set_tensor(input_details[0]['index'], reshaped_img)

# 実行
interpreter.invoke()
output_data = interpreter.get_tensor(output_details[0]['index'])
print('出力データ')
print(output_data)
print(np.count_nonzero(output_data))

$ python3 test.py 
入出力フォーマットを確認
[{'name': 'ImageTensor', 'index': 9, 'shape': array([  1, 257, 257,   3], dtype=int32), 'dtype': <class 'numpy.float32'>, 'quantization': (0.0, 0)}]
[{'name': 'SemanticPredictions', 'index': 272, 'shape': array([  1, 257, 257], dtype=int32), 'dtype': <class 'numpy.int32'>, 'quantization': (0.0, 0)}]
shape確認
[  1 257 257   3]
入力データ
[[[[ 13.  17.  16.]
   [ 21.  25.  23.]
   [ 13.  18.  14.]
   ...
   [ 31.  33.  20.]
   [ 30.  32.  19.]
   [ 31.  33.  20.]]

  [[ 14.  17.  17.]
   [ 20.  25.  23.]
   [ 17.  22.  18.]
   ...
   [ 31.  33.  20.]
   [ 30.  31.  18.]
   [ 31.  33.  20.]]

  [[ 12.  15.  14.]
   [ 18.  22.  19.]
   [ 17.  22.  19.]
   ...
   [ 31.  33.  20.]
   [ 30.  33.  20.]
   [ 29.  32.  19.]]

  ...

  [[ 23.  27.  26.]
   [ 23.  27.  26.]
   [ 25.  29.  28.]
   ...
   [ 96.  67.  43.]
   [ 90.  63.  39.]
   [ 83.  58.  36.]]

  [[ 23.  25.  26.]
   [ 26.  28.  29.]
   [ 26.  28.  29.]
   ...
   [103.  73.  49.]
   [ 91.  63.  41.]
   [ 84.  58.  37.]]

  [[ 25.  25.  28.]
   [ 26.  26.  28.]
   [ 27.  27.  29.]
   ...
   [104.  75.  52.]
   [ 93.  65.  44.]
   [ 87.  60.  41.]]]]
出力データ
[[[ 0  0  0 ...  0  0  0]
  [ 0  0  0 ...  0  0  0]
  [ 0  0  0 ...  0  0  0]
  ...
  [15 15 15 ... 15 15 15]
  [15 15 15 ... 15 15 15]
  [15 15 15 ... 15 15 15]]]
40524

サンプルのGoogleColaboratory
checkpointや.pbや.tfliteのモデル構造はコチラの NETRON で確認可能です。
また、コチラ deeplab cityscape edgetpu #3 で海外エンジニアに量子化の手順を説明しています。ご参考になれば幸いです。コチラの私のGithubリポジトリ PINTO0309/PINTO_model_zoo には変換スクリプトのサンプルと変換前後のモデルをコミットしてあります。ご参考にどうぞ。

ちなみに、mask r-cnnはTensorflow Liteが公式には変換に対応していません。小細工をすれば変換はできますが難易度が高いためお勧めしません。
mask r-cnnの変換スクリプト群 https://github.com/PINTO0309/PINTO_model_zoo/tree/master/08_mask_rcnn_inceptionv2

お役に立てれば幸いです。

Comments

[thinkdice]

PINTOさんありがとうございます。mask r-cnnからのtflite変換について調べまくってた時にレポジトリを拝見してました。有用な情報を公開していただいてありがとうございます。

モデル変更して今一度やってみます。

[PINTO]

私も、そしてGoogleの中の人も同じ見解ですが、mask r-cnnはとてもヘビー過ぎてtfliteで実行するには不向きなモデルです。Deeplabを検証されている時点で、おそらく解にはたどり着かれているのだとは思いますが、軽量なセグメンテーションとMobileNetを組み合わせるのが現実的です。頑張って下さい。

[thinkdice]

いただいたコードそのままでやってみました。
https://colab.research.google.com/drive/141w_AHytH2KTid9jrahH5vginCCoCU6J

結果的には、検出のところで以下のRntimeErrorが出て成功までは行ってない状態です。colab環境だとまたやり方が違ったりするのでしょうか？

RuntimeError: tensorflow/lite/kernels/depthwise_conv.cc:108 params->depth_multiplier * SizeOfDimension(input, 3) != SizeOfDimension(filter, 3) (0 != 32)Node number 17 (DEPTHWISE_CONV_2D) failed to prepare.

あと、tflite_convert 時にエラーが出て正しくtflite変換されているのかも確信が持てていません。ちなみエラーは以下のフラグ追加で消えました。

--inference_input_type=QUANTIZED_UINT8 \
--inference_type=FLOAT \
--std_dev_values=128 \
--mean_values=128 \

エラー内容
F tensorflow/lite/toco/tooling_util.cc:2277] Check failed: array.data_type == array.final_data_type Array "ImageTensor" has mis-matching actual and final data types (data_type=uint8, final_data_type=float).
Fatal Python error: Aborted

[thinkdice]

ここまでモデルの中身など見ないようにして勉強してきましたが、そろそろ限界を感じています。

input_arrays, inference_input_type, inference_type などのフラグに何を渡すかを自分で調べられるようになるには、どのあたりを勉強していけばいいのでしょうか？

（連投すみません）

[PINTO]

こちらこそすみません。 export_model.py を１行書き換える必要がありました。 92行目と93行目をご覧ください。
https://colab.research.google.com/drive/11I_tKY9CaPGYhHkAq73cSFMfTtFb05RN

#input_image = tf.placeholder(tf.uint8, [1, None, None, 3], name=_INPUT_NAME)
input_image = tf.placeholder(tf.float32, [1, FLAGS.crop_size[0], FLAGS.crop_size[1], 3], name=_INPUT_NAME)

Tensorflow LiteのコンバーターはデフォルトオプションではINPUTとOUTPUTの型を一致させる必要があります。ダウンロードしたモデルのINPUTの型は UINT8 であり、FLOAT32に変換する必要があります。また、CROPのサイズを257x257のサンプルで提示してしまいましたが、 --crop_size=257 のパラメータ指定で動的に変更可能です。モデルの構造を見る場合は、INPUTとOUTPUTのオペレーションの内容だけ調べれば良いです。恥ずかしながら私もモデルの中身はあまり見ていませんw 回答の内容は補正しておきました。

指定可能なパラメータの説明は公式ページの下記が参考になります。
https://www.tensorflow.org/lite/convert/cmdline_reference

[thinkdice]

export_model.py修正バージョンでexport → tflite変換 → 検出できました。過去の学習で作成したckptファイルでもやってみましたが0以外が返ってきてるので検出できているようです。

これでやっと自分のデータを試すところまで辿り着けました。
ありがとうございます！

INPUTとOUTPUTのオペレーションあたりも自分で調べられるように勉強してみます！

[thinkdice]

時間空きましたが、ひとつ質問させてください。

最終の実行環境で扱う画像サイズを256x256にすることになって、今PINTOさんのコードを参考に修正しているところなのですが、256ではなく257という半端な数字になっているのは何か理由がありますか？

[PINTO]

私の理解では、8の倍数 + 1 あるいは 16の倍数 + 1 (”倍数”の部分は output_strideというもののようです) のトレーニングプロトコルの制約により、最後にプラス１をするようになっています。下記にその意味合いの説明のやりとりがありますのでご参考までにどうぞ。トレーニング用のスクリプトを見ましたが、上記の計算式になっていることも確認しました。
https://github.com/tensorflow/models/issues/3886

[thinkdice]

なるほど、端のピクセルを処理するための余白みたいな感じですかね。
ありがとうございます！

[PINTO]

DeeplabV3-plus ですが、 256x256 の解像度だと割と苦しい精度になりましたよ。。。 513x513 あたりをおすすめします。
https://github.com/PINTO0309/PINTO_model_zoo/blob/master/README.md#sample4---semantic-segmentation-deeplabv3-plus-256x256

[thinkdice]

すみません、コメント今気づきました。ありがとうございます！

まさしく今やりたい内容で、おっしゃるとおり今257x257でtflite検出で精度が出なくて苦しんでるところでした。。。

step数30Kくらいまで増やすとvis,pyの検出結果や境界線の精度が上がるんですが、それをtfliteまで持っていくと逆に精度が大きく下がる状態です。特にstep数3K以上にするとtfliteでは大きく落ちます。訓練時は513x513でやってexport_model.pyで257にサイズ調整しています。quantizeはなしです。

ckpt→tfliteに変換する過程で何か間違っているのではないかと思い、調べてみましたがそれっぽいパラメータも見つけらていません。どこか見落としてるのでしょうか？

[PINTO]

まず、推論できているので手順に誤りは無いと思います。しかしあえて基本的なことを言わせて頂くとすると、量子化をする時点で精度が一定量劣化する前提です。その代わりにパフォーマンスは大きく上がる仕組みです。トレーニング時に32bitの情報量で精度を担保していたものを4分の1の情報量の8bitに減らすわけですからなんとなく伝わると思います。また、精度の観点では入力解像度が大きく影響します。こちらも縦横それぞれ２分の１、合計で4分の1の情報量に減らしてしまっていますから量子化をする時点で画像からとれる特徴情報が著しく落ちますので大きく精度が落ち込みます。量子化をしてもしなくても、入力解像度をもう少し大きめの8の倍数で調整する必要があると思います。パフォーマンスと精度はトレードオフです。公式のモデルは自信を持って公開できる精度を担保したいがゆえに、513x513という大きめの解像度になっていると考えられます。

[thinkdice]

ありがとうございます！なるほど。基本的なこととして画像サイズを下げると精度は下がるということなんですね。想像以上に下がりました。セマンティクスセグメンテーションをモバイルでやるのはまだ制約がありますね。。。