AndroidStudioでのChaquopyで画像認識の結果処理時にエラーが出てアプリが落ちる

Question

実現したいこと

Androidで画像認識をしたいです。モデルはmobilenet-ssdです。MainActivityでカメラで写真を撮る機能を実装しました。撮った写真に対してmobilenet-ssdを用いて物体検出を行いたいです。

発生している問題・分からないこと

モデルの出力結果からboxes, labels, probsのような結果の変数を作成する際のPythonファイル内でエラーが発生しました。

エラーメッセージ

 AndroidRuntime         com.android.example.cameraxapp       E  FATAL EXCEPTION: main
Process: com.android.example.cameraxapp, PID: 2658
com.chaquo.python.PyException: IndexError: too many indices for tensor of dimension 1
at <python>.inference.run_inference(inference.py:71)
at <python>.chaquopy_java.call(chaquopy_java.pyx:354)
at <python>.chaquopy_java.Java_com_chaquo_python_PyObject_callAttrThrowsNative(chaquopy_java.pyx:326)
at com.chaquo.python.PyObject.callAttrThrowsNative(Native Method)
at　com.chaquo.python.PyObject.callAttrThrows(PyObject.java:232)
at com.chaquo.python.PyObject.callAttr(PyObject.java:221)
at com.android.example.cameraxapp.MainActivity.analize_img(MainActivity.kt:179)
at com.android.example.cameraxapp.MainActivity.onCreate$lambda$1(MainActivity.kt:88)
at com.android.example.cameraxapp.MainActivity.$r8$lambda$lcE-7xHOtuzYSUf8T8i6-AVABIU(Unknown Source:0)
at com.android.example.cameraxapp.MainActivity$$ExternalSyntheticLambda1.onClick(D8$$SyntheticClass:0)
at android.view.View.performClick(View.java:7729)
at android.view.View.performClickInternal(View.java:7706)
at android.view.View.-$$Nest$mperformClickInternal(Unknown Source:0)
at android.view.View$PerformClick.run(View.java:30484)
at android.os.Handler.handleCallback(Handler.java:959)
at android.os.Handler.dispatchMessage(Handler.java:100)
at android.os.Looper.loopOnce(Looper.java:232)
at android.os.Looper.loop(Looper.java:317)
at android.app.ActivityThread.main(ActivityThread.java:8501)
at java.lang.reflect.Method.invoke(Native Method)
at com.android.internal.os.RuntimeInit$MethodAndArgsCaller.run(RuntimeInit.java:552)
at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:878)

該当のソースコード

import torch
from torchvision import transforms
from PIL import Image
import numpy as np

# モデルをロードする関数
def load_model(model_path):
    model = torch.jit.load(model_path)
    model.eval()
    return model

def iou_of(boxes0, boxes1, eps=1e-5):
    overlap_left_top = torch.max(boxes0[..., :2], boxes1[..., :2])
    overlap_right_bottom = torch.min(boxes0[..., 2:], boxes1[..., 2:])

    overlap_area = area_of(overlap_left_top, overlap_right_bottom)
    area0 = area_of(boxes0[..., :2], boxes0[..., 2:])
    area1 = area_of(boxes1[..., :2], boxes1[..., 2:])
    return overlap_area / (area0 + area1 - overlap_area + eps)

def area_of(left_top, right_bottom) -> torch.Tensor:
    hw = torch.clamp(right_bottom - left_top, min=0.0)
    return hw[..., 0] * hw[..., 1]

# 推論を行う関数
def run_inference(model_path, image_path):
    image = Image.open(image_path).convert("RGB")
    # 画像の前処理
    transform = transforms.Compose([
        transforms.Resize((300, 300)),
        transforms.ToTensor(),
        transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
    ])
    img_tensor = transform(image).unsqueeze(0)  # バッチ次元を追加

    with torch.no_grad():
        model = load_model(model_path)
        scores, boxes = model(img_tensor) # score box
        print('scores:',scores.shape, 'boxes:', boxes.shape)
        #print("len:",len(output))
        print('hello3')
    # こっからPredictor
    filter_threshold=0.05
    boxes = boxes[0]
    scores = scores[0]
    prob_threshold = filter_threshold
    picked_box_probs = []
    picked_labels = []
    for class_index in range(1, scores.size(1)):
        probs = scores[:, class_index]
        mask = probs > prob_threshold
        probs = probs[mask]
        if probs.size(0) == 0:
            continue
        subset_boxes = boxes[mask, :]
        box_probs = torch.cat([subset_boxes, probs.reshape(-1, 1)], dim=1)
        nms_method = 'hard'
        iou_threshold=0.45
        sigma = 0.5
        score_threshold=prob_threshold
        top_k = -1
        candidate_size = 200
        print('hello2')
        # nmsの中身
        box_scores = box_probs
        scores = box_scores[:, -1]
        boxes = box_scores[:, :-1]
        picked = []
        _, indexes = scores.sort(descending=True)
        indexes = indexes[:candidate_size]
        print('hello1.7')
        while len(indexes) > 0:
            current = indexes[0]
            picked.append(current.item())
            if 0 < top_k == len(picked) or len(indexes) == 1:
                break
            current_box = boxes[current, :]
            indexes = indexes[1:]
            rest_boxes = boxes[indexes, :]
            iou = iou_of(
                rest_boxes,
                current_box.unsqueeze(0),
            )
            print('hello1.65')
            indexes = indexes[iou <= iou_threshold]

            box_probs = box_scores[picked, :]


        print('hello1.6')
        picked_box_probs.append(box_probs)
        print('hello1.55')
        print('class_index', class_index)
        print('box_probs.size(0)', box_probs.size(0))
        print('multiple', [class_index] * box_probs.size(0))
        print('hello1.53')
        picked_labels += [class_index] * box_probs.size(0)
    print('hello1.5')
    if not picked_box_probs:
        return torch.tensor([]), torch.tensor([]), torch.tensor([])
    picked_box_probs = torch.cat(picked_box_probs)
    height, width, _ = image.shape
    picked_box_probs[:, 0] *= width
    picked_box_probs[:, 1] *= height
    picked_box_probs[:, 2] *= width
    picked_box_probs[:, 3] *= height
    boxes, labels, probs = picked_box_probs[:, :4], torch.tensor(picked_labels), picked_box_probs[:, 4]
    print('hello1')



    class_names = ['BACKGROUND', 'apple']
    max_prob = 0 # 一番確率の高い予測
    if boxes.size(0) > 0:
        for i in range(boxes.size(0)):
            if probs[i] > max_prob:
                max_prob = probs[i] # 最大確率の更新
                max_index = i # 最大値インデックスの保存
        max_label = class_names[labels[max_index]] # 最も確率のたかいラベルを取り出す
        mlabel_cnt = 0
        for i in range(boxes.size(0)): # 確率最大のラベルの数
            if class_names[labels[i]] == max_label:
                mlabel_cnt += 1

        detect_objects = labels.size(0) # 認識したもの
        label = max_label # 認識ラベル
        max_cnt = mlabel_cnt # ラベルの数


    print('hello')
    return [detect_objects, label, max_cnt]

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

試行１：print('hello')とpythonコード内の様々な箇所に入れることでエラー発生行を特定
結果１：picked_labels += [class_index] * box_probs.size(0)の行であると確認
理由：logcat上でのhello出力の結果が

hello1.65
hello1.65
hello1.65
hello1.6
hello1.55
hello1.53

となったため。

試行2：特定した行の各変数の中身を確認
結果2：
class_index 1
box_probs.size(0) 17
[class_index] * box_probs.size(0)　[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]

試行3：モデルの出力結果scores, boxesをshapeを確認
結果3：scores: torch.Size([1, 3000, 21]) boxes: torch.Size([1, 3000, 4])
これはgitで公開され、PCのカメラを使った時の正常な動作を確認しているmobilenet-ssdモデルと一致

試行4：picked_labels = [1]にする
結果：変化なし

補足

参考にしているmobilenet-ssdのgit (https://github.com/qfgaohao/pytorch-ssd)
chaquopyバージョン:15.0.1

Comments

[fiveHundred]

以下のURLを見る限り、単純なshapeの不一致だと思いますので、確認してみてください。
https://stackoverflow.com/questions/73535661/why-i-am-getting-this-too-many-indices-for-tensor-of-dimension-1-error-and-how

> 結果１：picked_labels += [class_index] * box_probs.size(0)の行であると確認

提示のエラーメッセージでは
> at <python>.inference.run_inference(inference.py:71)
となっています。
コードがエラー発生時とおそらく異なっており、こちらでは厳密な確認はできませんが、「結果１」の行は97行目付近なので、全く違う行だと思われます。

Answer 1

Androidで画像認識を行うためにmobilenet-ssdを使用する手順は次の通りです：モデルを読み込み、MainActivityでカメラ機能を使って撮影した写真を取得し、画像をモデルに入力するために適切な形式に変換します。モデルに画像を入力し、出力を取得したら、出力結果からboxes、labels、probsなどの変数を作成します。エラーが発生する場合、モデルの読み込みや画像の前処理が正しく行われているか、モデルの出力形式が期待通りかを確認してください。具体的なエラー内容を教えていただければ、より詳細なサポートができます。

Comments

[fiveHundred]

なんか機械的な回答ですが、AIで生成した回答ですか？
もしAIで生成した回答であれば、以下をお守りください。
（違ったらすみません）

> AIが生成した回答・コメントについて
> - AIが生成した回答・コメントを投稿する場合は、1行目に「[アルゴリズム/サービス名]により生成された文章です」と明記する必要があります。明記されていない場合は運営チームで削除させていただく場合がございます。
> - 投稿する場合は、内容が正しいかを精査してください。
引用元：https://teratail.com/help#about-ai-terms