ラズベリーパイでの画像認識でRuntimeErrorが解決できない

Question

初めまして。
今日から画像認識について学ぼうと思い、ラズベリーパイ4とカメラモジュールを使ってとりあえず画像認識を体験しようと思いこちらの記事を参考に同じように実行しました。

https://www.souichi.club/raspberrypi/raspicamera-tensorflow/#Coral_USB_Accelerator%E3%82%92%E4%BD%BF%E3%82%8F%E3%81%AA%E3%81%84%E3%81%A7%E5%88%A4%E5%AE%9A

しかし実行する最終段階のところで以下のようなコマンドを打つとエラーが出てしまいました。

python3 classify_picamera.py \
--model /tmp/mobilenet_v1_1.0_224_quant_edgetpu.tflite \
--labels /tmp/labels_mobilenet_quant_v1_224.txt

エラー内容

INFO: Initialized TensorFlow Lite runtime.
Traceback (most recent call last):
  File "classify_picamera.py", line 99, in <module>
    main()
  File "classify_picamera.py", line 74, in main
    interpreter.allocate_tensors()
  File "/home/pi/.local/lib/python3.7/site-packages/tflite_runtime/interpreter.py", line 244, in allocate_tensors
    return self._interpreter.AllocateTensors()
  File "/home/pi/.local/lib/python3.7/site-packages/tflite_runtime/interpreter_wrapper.py", line 111, in AllocateTensors
    return _interpreter_wrapper.InterpreterWrapper_AllocateTensors(self)
RuntimeError: Encountered unresolved custom op: edgetpu-custom-op.Node number 0 (edgetpu-custom-op) failed to prepare.

この記事と私の環境の違いはおそらくアクセラレーター？というものがついているかどうかだと思います。
edgetpuが関係しているのかなとは思うのですがとりあえず体験してみたいと思って真似してみたので正直どこを直したらいいかわからないです。

回答お待ちしております。よろしくお願いします。

直すべき部分が入っていると思うコード

# python3
#
# Copyright 2019 The TensorFlow Authors. All Rights Reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
"""Example using TF Lite to classify objects with the Raspberry Pi camera."""

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import argparse
import io
import time
import numpy as np
import picamera

from PIL import Image
from tflite_runtime.interpreter import Interpreter


def load_labels(path):
  with open(path, 'r') as f:
    return {i: line.strip() for i, line in enumerate(f.readlines())}


def set_input_tensor(interpreter, image):
  tensor_index = interpreter.get_input_details()[0]['index']
  input_tensor = interpreter.tensor(tensor_index)()[0]
  input_tensor[:, :] = image


def classify_image(interpreter, image, top_k=1):
  """Returns a sorted array of classification results."""
  set_input_tensor(interpreter, image)
  interpreter.invoke()
  output_details = interpreter.get_output_details()[0]
  output = np.squeeze(interpreter.get_tensor(output_details['index']))

  # If the model is quantized (uint8 data), then dequantize the results
  if output_details['dtype'] == np.uint8:
    scale, zero_point = output_details['quantization']
    output = scale * (output - zero_point)

  ordered = np.argpartition(-output, top_k)
  return [(i, output[i]) for i in ordered[:top_k]]


def main():
  parser = argparse.ArgumentParser(
      formatter_class=argparse.ArgumentDefaultsHelpFormatter)
  parser.add_argument(
      '--model', help='File path of .tflite file.', required=True)
  parser.add_argument(
      '--labels', help='File path of labels file.', required=True)
  args = parser.parse_args()

  labels = load_labels(args.labels)

  interpreter = Interpreter(args.model)
  interpreter.allocate_tensors()
  _, height, width, _ = interpreter.get_input_details()[0]['shape']

  with picamera.PiCamera(resolution=(640, 480), framerate=30) as camera:
    camera.start_preview()
    try:
      stream = io.BytesIO()
      for _ in camera.capture_continuous(
          stream, format='jpeg', use_video_port=True):
        stream.seek(0)
        image = Image.open(stream).convert('RGB').resize((width, height),
                                                         Image.ANTIALIAS)
        start_time = time.time()
        results = classify_image(interpreter, image)
        elapsed_ms = (time.time() - start_time) * 1000
        label_id, prob = results[0]
        stream.seek(0)
        stream.truncate()
        camera.annotate_text = '%s %.2f\n%.1fms' % (labels[label_id], prob,
                                                    elapsed_ms)
    finally:
      camera.stop_preview()


if __name__ == '__main__':
  main()

実行したコマンド

python3 classify_picamera.py \
--model /tmp/mobilenet_v1_1.0_224_quant_edgetpu.tflite \
--labels /tmp/labels_mobilenet_quant_v1_224.txt

Comments

[jbpb0]

> この記事と私の環境の違いはおそらくアクセラレーター？というものがついているかどうか

・「mobilenet_v1_1.0_224_quant_edgetpu.tflite」ではなく「mobilenet_v1_1.0_224_quant.tflite」を使う
・参考Webページの「プログラムの修正」に記載の内容(2ヶ所の修正)をやらない (既にやってたら元に戻す)

としたら、どうなりますでしょうか？

[seyu0930]

ありがとうございます！おかげさまで無事エラーはなくなりました！
INFO: Initialized TensorFlow Lite runtime.　←こちらが出てきたのですがこれは正常でしょうか？

ただ、カメラが起動しないのですが、何か自分で起動させるところとかあるのでしょうか。
ラズパイ設定のインターフェースのところのカメラは「有効」にしておりコマンドで写真を撮ることはできる状態です。

[jbpb0]

> カメラが起動しない

https://projects.raspberrypi.org/ja-JP/projects/getting-started-with-picamera/4
の「次のコードを入力します。」と書いてあるところのすぐ下のコードを実行してみてください
「カメラのプレビューが5秒間表示され、再び閉じます。」となりますか？

[seyu0930]

>>> %Run camera.py
というのがshellに表示されてちょうど5秒後に次の
>>>
が出てくる以外は何も起きないです...

そもそもなんですがモニターつけてないとダメだったりしますか？
sshでmacから操作していてラズパイ用のモニターはつけてないのですが。

[jbpb0]

私が一つ前のコメントで紹介したWebページの、「注意: カメラのプレビューは...」を読んでください

[seyu0930]

すみません見落としておりました...
モニターをつけると録画した動画を見ることはできました。しかし今回のプログラムはうまく実行しません。

2021-06-22 16:30:45.006491: E tensorflow/core/platform/hadoop/hadoop_file_system.cc:132] HadoopFileSystem load error: libhdfs.so: cannot open shared object file: No such file or directory
Traceback (most recent call last):
File "classify_picamera.py", line 96, in <module>
main()
File "classify_picamera.py", line 70, in main
interpreter = Interpreter(args.model)
File "/home/pi/.local/lib/python3.7/site-packages/tflite_runtime/interpreter.py", line 206, in __init__
model_path))
NotImplementedError: Wrong number or type of arguments for overloaded function 'InterpreterWrapper_CreateWrapperCPPFromFile'.
Possible C/C++ prototypes are:
tflite::interpreter_wrapper::InterpreterWrapper::CreateWrapperCPPFromFile(char const *,std::vector< std::string > const &,std::string *)
tflite::interpreter_wrapper::InterpreterWrapper::tflite_interpreter_wrapper_InterpreterWrapper_CreateWrapperCPPFromFile__SWIG_1(char const *,PyObject *)

こちらのエラーが出たのですが、共有オブジェクトファイルを開くことができません：そのようなファイルまたはディレクトリはありませんとあります。どう考えれば良いでしょうか。何度も申し訳ありません。

[seyu0930]

https://qiita.com/rhene/items/d370a3b3f05a7248bd79
こちらが解決策ではないかと思うのですが具体的に何をすればいいのか全くわかりません。
libhdfs.soというものが原因だと思うのですがどうでしょうか

[seyu0930]

tensorflowのバージョンが古かったのが原因でした。TFliteとtensorflowを両方入れていたのでこのようなエラーが出ていました。ありがとうございました！

Answer 1

この記事と私の環境の違いはおそらくアクセラレーター？というものがついているかどうか

・「mobilenet_v1_1.0_224_quant_edgetpu.tflite」ではなく「mobilenet_v1_1.0_224_quant.tflite」を使う
・参考Webページの「プログラムの修正」に記載の内容(2ヶ所の修正)をやらない (既にやってたら元に戻す)