ndarrayの重複要素に対応する他ndarrayの要素をコントロール（削除）したい

Question

いつもお世話になっています。

前提・実現したいこと

機械学習の推論過程にて、
同一タグ名の複数検出・描画を1つに絞り込みたいと考えています。

その為、yolo.py内にある
out_classes
out_scores
out_boxes
を使って解決しようとしています。

具体的には
0. out_classes内の重複する要素を検出
0. 重複要素に対応するout_scoresから（重複種類ごとに）最大値を検出
0. out_classesにて重複要素かつout_scoresにて最大値以外を消去してリサイズ
で達成可能かと思っています。

今、2と3で行き詰っています。
どのような関数を使えば解決できますか。

元のデータが

out_classes = np.array([0, 0, 3, 3, 5])
out_scores = np.array([0.99801666, 0.7711145, 0.9962558, 0.96635705, 0.80220133])
out_boxes = np.array(
    [[  8.540416,  61.232857,  76.36931,  123.20946 ],
     [ 10.599434,  67.45303,   75.46433,  115.5706  ],
     [101.44424,  137.79492,  165.17267,  201.09848 ],
     [ 90.32121,   60.167862, 160.19128,  126.34792 ],
     [ 92.46553,  210.28862,  167.8457,   296.00696 ]])

の形になっているので、

out_classes = np.array([0, 3, 5])
out_scores = np.array([0.99801666, 0.9962558, 0.80220133])
out_boxes = np.array(
    [[  8.540416,  61.232857,  76.36931,  123.20946 ],
     [101.44424,  137.79492,  165.17267,  201.09848 ],
     [ 92.46553,  210.28862,  167.8457,   296.00696 ]])

の様にさせたいです。

該当のソースコード

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import numpy as np

out_classes = np.array([0, 0, 3, 3, 5])
out_scores = np.array([0.99801666, 0.7711145, 0.9962558, 0.96635705, 0.80220133])
out_boxes = np.array(
    [[  8.540416,  61.232857,  76.36931,  123.20946 ],
     [ 10.599434,  67.45303,   75.46433,  115.5706  ],
     [101.44424,  137.79492,  165.17267,  201.09848 ],
     [ 90.32121,   60.167862, 160.19128,  126.34792 ],
     [ 92.46553,  210.28862,  167.8457,   296.00696 ]])

u, indices, inverse, counts = np.unique(out_classes, return_index = True, return_inverse = True, return_counts = True)

if np.amax(counts)>=2:#---------------｜重複があれば処理
    print(out_classes)
    print(u)
    print(counts)
    print("重複無し｜", u[counts == 1])#｜重複無しの要素
    print("重複あり｜", u[counts != 1])#｜重複ありの要素
    print(indices)#-------------------｜該当数字が最初に出てくる場所
    print(inverse)

else:
    print("重複無し")

補足情報（FW/ツールのバージョンなど）

python 3.8
numpy 1.18.0

Answer 1

下記コードみたいな感じでどうでしょうか。groupbyを使いたいので途中pandasに頼ってやっています。

import numpy as np
import pandas as pd

out_classes = np.array([0, 0, 3, 3, 5])
out_scores = np.array([0.99801666, 0.7711145, 0.9962558, 0.96635705, 0.80220133])
out_boxes = np.array(
    [[  8.540416,  61.232857,  76.36931,  123.20946 ],
     [ 10.599434,  67.45303,   75.46433,  115.5706  ],
     [101.44424,  137.79492,  165.17267,  201.09848 ],
     [ 90.32121,   60.167862, 160.19128,  126.34792 ],
     [ 92.46553,  210.28862,  167.8457,   296.00696 ]])

df = pd.DataFrame({"classes":out_classes, 
                   "scores":out_scores})
idx = df.groupby("classes").idxmax()["scores"].values

out_classes_ = out_classes[idx]
out_scores_ = out_scores[idx]
out_boxes_ = out_boxes[idx]
print(repr(out_classes_))
print(repr(out_scores_))
print(repr(out_boxes_))
""" =>
array([0, 3, 5])
array([0.99801666, 0.9962558 , 0.80220133])
array([[  8.540416,  61.232857,  76.36931 , 123.20946 ],
       [101.44424 , 137.79492 , 165.17267 , 201.09848 ],
       [ 92.46553 , 210.28862 , 167.8457  , 296.00696 ]])
"""

参考（pandasを使わない方法）

pandasに頼りたくない場合、pandasのgroupby相当のものがnumpyにも標準にもないので少し手間取ります。defaultdict(list)などを使うと比較的楽で、速度などの懸念もないかと思います。

import numpy as np
from operator import itemgetter
from collections import defaultdict

out_classes = np.array([0, 0, 3, 3, 5])
out_scores = np.array([0.99801666, 0.7711145, 0.9962558, 0.96635705, 0.80220133])
out_boxes = np.array(
    [[  8.540416,  61.232857,  76.36931,  123.20946 ],
     [ 10.599434,  67.45303,   75.46433,  115.5706  ],
     [101.44424,  137.79492,  165.17267,  201.09848 ],
     [ 90.32121,   60.167862, 160.19128,  126.34792 ],
     [ 92.46553,  210.28862,  167.8457,   296.00696 ]])

d = defaultdict(list)
for i, c in enumerate(out_classes):
    d[c].append((i, out_scores[i]))

idx = [max(x, key=itemgetter(1))[0] for c, x in d.items()]

# 例示用
print(d)   # defaultdict(<class 'list'>, {0: [(0, 0.99801666), (1, 0.7711145)], 3: [(2, 0.9962558), (3, 0.96635705)], 5: [(4, 0.80220133)]})
print(idx) # [0, 2, 4]

# 以下はidxを用いて取り出すだけで、pandasを用いたコードと同じ

Comments

[P5_USER]

hayataka2049さん
回答ありがとうございます。

辞書型にしてふるい落とす　には目から鱗でした。

また、速度について気にかけていただいて、ありがたいです。