cv2.rectangleで画像に矩形が表示されない

Question

前提・実現したいこと

pascalVOCデータセットを読み込んで、確認のために画像にバウンディングボックスを描画してみたいです。

エラー

表示結果です。

矩形の描画がなされません、、、

該当のソースコード

image, target, image_id = train_dataset[1]
boxes = target['boxes'].cpu().numpy().astype(np.int32)

nim = image.permute(1,2,0).cpu().numpy().astype(float)

fig, ax = plt.subplots(1, 1, figsize=(16, 8))

for box in boxes:
    cv2.rectangle(nim, (box[0], box[1]), (box[2], box[3]), (0, 1, 0), 2)  
ax.set_axis_off()
ax.imshow(nim)

参考
https://www.kaggle.com/shonenkov/training-efficientdet
データセット作成は自分で行い、描画のところだけ参照しています。
同じようにデータセットからはimage, target, image_idが返されるようにはしているはずです。

試したこと

numpyで適当に真っ黒の画像を作成してやってみるとそれに関してはうまくいっています。
なぜか描画したい画像ではcv2.rectangleが機能していないように思います。

補足情報（FW/ツールのバージョンなど）

補足の情報を詳細に記載します。
nimは描画したい画像
boxesは矩形の座標(xmin, ymin, xmax, ymax)

array([[[0.51372552, 0.57254905, 0.59215689],
        [0.50588238, 0.56470591, 0.58431375],
        [0.50588238, 0.56470591, 0.58431375],
        ...,
        [0.48627451, 0.54509807, 0.53333336],
        [0.45490196, 0.51372552, 0.50196081],
        [0.43137255, 0.49019608, 0.47843137]],

       [[0.51372552, 0.56470591, 0.58823532],
        [0.50588238, 0.55686277, 0.58039218],
        [0.50588238, 0.55686277, 0.58039218],
        ...,
        [0.42352942, 0.48235294, 0.4627451 ],
        [0.41568628, 0.47450981, 0.45490196],
        [0.41176471, 0.47058824, 0.4509804 ]],

       [[0.50588238, 0.5411765 , 0.56862748],
        [0.50588238, 0.5411765 , 0.56862748],
        [0.50980395, 0.54509807, 0.57254905],
        ...,
        [0.41960785, 0.47450981, 0.47450981],
        [0.42745098, 0.48235294, 0.48235294],
        [0.43921569, 0.49411765, 0.49411765]],

       ...,

       [[0.43529412, 0.48627451, 0.50980395],
        [0.43529412, 0.48627451, 0.50980395],
        [0.43529412, 0.48627451, 0.50980395],
        ...,
        [0.41960785, 0.47843137, 0.50588238],
        [0.42352942, 0.48235294, 0.50980395],
        [0.42745098, 0.48627451, 0.51372552]],

       [[0.43921569, 0.49019608, 0.51372552],
        [0.43529412, 0.48627451, 0.50980395],
        [0.43137255, 0.48235294, 0.50588238],
        ...,
        [0.41960785, 0.47843137, 0.50588238],
        [0.41960785, 0.47843137, 0.50588238],
        [0.41960785, 0.47843137, 0.50588238]],

       [[0.43137255, 0.48235294, 0.50588238],
        [0.42745098, 0.47843137, 0.50196081],
        [0.43137255, 0.48235294, 0.50588238],
        ...,
        [0.42352942, 0.48235294, 0.50980395],
        [0.41960785, 0.47843137, 0.50588238],
        [0.42352942, 0.48235294, 0.50980395]]])

dtype('float64')

(334, 500, 3)

array([[ 31, 140, 116, 173],
       [193, 183, 260, 201]], dtype=int32)

データセット

class MyDataset(torch.utils.data.Dataset):

    def __init__(self, df, image_dir):

        super().__init__()

        self.image_ids = df["image_id"].unique()
        self.df = df
        self.image_dir = image_dir

    def __getitem__(self, index):

        transform = transforms.Compose([
                                        transforms.ToTensor()
        ])

        # 入力画像の読み込み
        image_id = self.image_ids[index]
        #image = Image.open(f"{self.image_dir}{image_id}.jpg")
        image = cv2.imread(self.image_dir + image_id + '.jpg')
        image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB).astype(np.float64)
        image /= 255.0
        image = transform(image)

        # アノテーションデータの読み込み
        records = self.df[self.df["image_id"] == image_id]
        boxes = torch.tensor(records[["x", "y", "w", "h"]].values, dtype=torch.float32)
        boxes[:, 2] = boxes[:, 0] + boxes[:, 2]
        boxes[:, 3] = boxes[:, 1] + boxes[:, 3]

        area = (boxes[:, 3] - boxes[:, 1]) * (boxes[:, 2] - boxes[:, 0])
        #area = boxes[:, 2] *  boxes[:, 3]
        area = torch.as_tensor(area, dtype=torch.float32)

        labels = torch.tensor(records["class"].values, dtype=torch.int64)

        iscrowd = torch.zeros((records.shape[0], ), dtype=torch.int64)

        target = {}
        target["boxes"] = boxes
        target["labels"]= labels
        target["image_id"] = torch.tensor([index])
        target["area"] = area
        target["iscrowd"] = iscrowd

        return image, target, image_id

    def __len__(self):
        return self.image_ids.shape[0]

いろいろいじっている中で、Umat形式とやらが関係しているような気もするのですが、確かなことは私の方ではわかっておりません。

大変長くなり恐縮ですが、どなたか分かる方がいらっしゃればご教授のほうよろしくお願いいたします。

Comments

[jbpb0]

> cv2.rectangle(nim, (box[0], box[1]), (box[2], box[3]), (0, 1, 0), 2)

の「(0, 1, 0)」は「(0, 255, 0)」では？

[shu214]

ご意見ありがとうございます！
早くて助かります！！

実はそれも試しまして、、できませんでした。。
参考元も(0, 1, 0)です。

[jbpb0]

下記のようにして画像を読み込んでやってみましたけど、二つの長方形は、ちゃんと描画されました
この場合と何が違うのでしょうね？

import numpy as np
import cv2

nim = cv2.imread(r"画像ファイルのパス").astype(float) / 255.0
boxes = np.array([[ 31, 140, 116, 173], [193, 183, 260, 201]])

for box in boxes:
cv2.rectangle(nim, (box[0], box[1]), (box[2], box[3]), (0, 1, 0), 2)

cv2.imshow("test", nim)
cv2.waitKey(0)
cv2.destroyAllWindows()

上記はforループのインデントが消えて表示されてしまいますが、実行する際はインデントが付いてます

[shu214]

そうなんですよね、、
そうやってやるとできるんですよね。。

何が違うのかはいまのところ分かってません、、

[jbpb0]

質問のコードと実質同じ処理になるように書きました
「nim」が質問のコードの処理と同じで、「nimo」が昨日のコードの処理と同じです

import numpy as np
import matplotlib.pyplot as plt
import cv2
from torchvision import transforms

transform = transforms.Compose([transforms.ToTensor()])
image = cv2.imread(r"画像ファイルのパス")
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB).astype(np.float64)
image /= 255.0
nimo = image
image = transform(image)
nim = image.permute(1,2,0).cpu().numpy().astype(float)
boxes = np.array([[ 31, 140, 116, 173], [193, 183, 260, 201]])

for box in boxes:
cv2.rectangle(nimo, (box[0], box[1]), (box[2], box[3]), (0, 1, 0), 2)

plt.imshow(nimo)
plt.show()

for box in boxes:
cv2.rectangle(nim, (box[0], box[1]), (box[2], box[3]), (0, 1, 0), 2)

plt.imshow(nim)
plt.show()

上記を実行すると、「nimo」は正常に処理できて二つの長方形が描画されます

一方、「nim」は「cv2.rectangle()」がエラーになり実行されませんので、長方形は描画されません

Jupyterで実行すると、エラーが隠蔽されて表示されないかもしれないので、Pythonの対話モードで実行してみてください

[shu214]

ありがとうございます！！

これはnimが描画されないということで合ってますか？（文章ではどちらもnimoですので、、）
だとすると、transformかpermuteあたりが怪しいのでしょうか、、

[jbpb0]

> nimが描画されないということで合ってますか？

そうです

> 文章ではどちらもnimoですので

文章はすぐに直したのですが、間に合いませんでしたか

[shu214]

いまはなおっています！ありがとうございます！

いちど別の方法(があれば)でテンソルをnumpyに変換してrectangleしてみようと思います。

[jbpb0]

nim = image.permute(1,2,0).cpu().numpy().astype(float)
↓ 変更
nim = image.permute(1,2,0).cpu().numpy().copy().astype(float)

としたら、エラーにならず長方形が描画されました

[shu214]

ありがとうございます！！
確かにそうすればできました！

ただ、直接的な解決策を探っていたところさきほど申し上げていた通り、transformsの部分でなにやらおかしくなっていることが判明しました。
pytorchのtransformsではなく、albumentationsライブラリを用いることによってまさかの解決ができました！

jbpb0様、ご検討ほんとうにありがとうございました！
あなたのおかげで解決までたどりつけました！

Answer 1

画像を変換する際に、torchvisionのtransformsではなく、albumentationsライブラリを使用することによって解決しました。
参考は、質問にも記載させていただいたkaggleのノートブックです
https://www.kaggle.com/shonenkov/training-efficientdet

![
（3匹目の鳥に矩形がないのはおそらくプログラムのミスではなくアノテーションのミスかと思われます。）

以下、長くなりますが全体のコードを載せておきます。

def get_transforms():
    return A.Compose([A.Resize(height=512, width=512, p=1),
                      ToTensorV2(p=1.0)], 
                     p=1.0, 
                     bbox_params=A.BboxParams(format='pascal_voc', 
                                              min_area=0, 
                                              min_visibility=0,
                                              label_fields=['labels']))

class MyDataset(torch.utils.data.Dataset):

    def __init__(self, df, image_dir, transforms=None):

        super().__init__()

        self.image_ids = df["image_id"].unique()
        self.df = df
        self.image_dir = image_dir
        self.transforms = transforms

    def __getitem__(self, index):

        # 入力画像の読み込み
        image_id = self.image_ids[index]
        #image = Image.open(f"{self.image_dir}{image_id}.jpg")
        image = cv2.imread(self.image_dir + image_id + '.jpg', cv2.IMREAD_COLOR)
        image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB).astype(np.float64)
        image /= 255.0
        #image = transform(image)

        # アノテーションデータの読み込み
        records = self.df[self.df["image_id"] == image_id]
        boxes = records[["x", "y", "w", "h"]].values
        boxes[:, 2] = boxes[:, 0] + boxes[:, 2]
        boxes[:, 3] = boxes[:, 1] + boxes[:, 3]

        area = (boxes[:, 3] - boxes[:, 1]) * (boxes[:, 2] - boxes[:, 0])
        #area = boxes[:, 2] *  boxes[:, 3]
        area = torch.as_tensor(area, dtype=torch.float32)

        labels = torch.tensor(records["class"].values, dtype=torch.int64)

        iscrowd = torch.zeros((records.shape[0], ), dtype=torch.int64)

        target = {}
        target["boxes"] = boxes
        target["labels"]= labels
        target["image_id"] = torch.tensor([index])
        #target["area"] = area
        #target["iscrowd"] = iscrowd

        if self.transforms:
            for i in range(10):
                sample = self.transforms(**{
                    'image': image,
                    'bboxes': target['boxes'],
                    'labels': labels
                })
                if len(sample['bboxes']) > 0:
                    image = sample['image']
                    target['boxes'] = torch.stack(tuple(map(torch.tensor, zip(*sample['bboxes'])))).permute(1, 0)
                    target['boxes'][:,[0,1,2,3]] = target['boxes'][:,[1,0,3,2]]  #yxyx: be warning
                    break

        return image, target, image_id

    def __len__(self):
        return self.image_ids.shape[0]

image_dir = "VOCtrainval_11-May-2012/VOCdevkit/VOC2012/JPEGImages/"

train_dataset = MyDataset(train, image_dir, transforms=get_transforms())
val_dataset = MyDataset(val, image_dir, transforms=get_transforms())
test_dataset = MyDataset(test, image_dir, transforms=get_transforms())

image, target, image_id = train_dataset[1]
boxes = target['boxes'].cpu().numpy().astype(np.int32)

nim = image.permute(1,2,0).cpu().numpy()

fig, ax = plt.subplots(1, 1, figsize=(16, 8))

for box in boxes:
    cv2.rectangle(nim, (box[1], box[0]), (box[3], box[2]), (0, 255, 0), 2)  
ax.set_axis_off()
ax.imshow(nim);

ご検討いただいた方ありがとうございました！
特に jbpb0様 ご協力ありがとうございました！