二次元のnumpy配列をリサイズしたい

Question

numpyの二次元配列で例えば、256256のものがあるとします。
これを図に表すと正方形の図として、可視化できると思いますが、それを画像拡大・縮小のように、128128に変えたいのですが、色々調べても分からず…。画像の拡大縮小なら多くの関数があったのですが。
説明が下手でわかりにくいかも知れませんが、よろしくお願いいたします…！

Comments

[hayataka2049]

アルゴリズムが何通りか考えられます。どんなアルゴリズムを使いたいですか？

[sasasho]

ありがとうございます。用途としてはGANの画像生成で256ではサイズが大きすぎるので128にリサイズして、画像生成し生成後再び256に戻すことを考えています。それに適したものがあれば、お願いしたいです（回答になっていないかもしれません…）。

[tiitoi]

GAN なら縮小は Max Pooling、拡大は Upsampling を使うのでは駄目なのでしょうか？DCGAN とか実際そうなっていると思いますが

[sasasho]

勉強不足で申し訳ないのですが、参考にしているDCGANを利用した論文ではリサイズして縮小してからGANにかけていました→『Unlabeled Samples Generated by GAN』。また大きな画像で行うとパラメータ数が大きく計算に時間がかかるのではないかと考えました。ご意見いただければ幸いです。

Answer 1

numpy配列を画像処理系のライブラリの型に変換し、縮小してからnumpy配列に戻せば良いでしょう。

import numpy as np
from PIL import Image

a = np.arange(8*8).reshape((8,8))
print(a)
i = Image.fromarray(np.uint8(a))
a = np.asarray(i.resize((4,4)))  # フィルタ等はお好みで
print(a)

""" =>
[[ 0  1  2  3  4  5  6  7]
 [ 8  9 10 11 12 13 14 15]
 [16 17 18 19 20 21 22 23]
 [24 25 26 27 28 29 30 31]
 [32 33 34 35 36 37 38 39]
 [40 41 42 43 44 45 46 47]
 [48 49 50 51 52 53 54 55]
 [56 57 58 59 60 61 62 63]]
[[ 9 11 13 15]
 [25 27 29 31]
 [41 43 45 47]
 [57 59 61 63]]
"""

参考：
NumPyのarrayとPILの変換 - white wheelsのメモ
Python, Pillowで画像を一括リサイズ（拡大・縮小） | note.nkmk.me

Comments

[sasasho]

ありがとうございます。もし（10000, 256, 256）のような10000個の256*256に対して全て同じ拡大縮小を行いたい場合には、どうすればいいでしょうか。

[hayataka2049]

私の回答の方法でやるなら、ループを10000回回すしかありません。ただ、機械学習等で使うならフレームワークごとに何らかの前処理の方法をサポートしていると思うので、そういったものを活用する方向で調べてみてください

[sasasho]

ありがとうございます。ループorサポートを調べてみようと思います。

Answer 2

コメント欄で言及している論文は Unlabeled Samples Generated by GAN
Improve the Person Re-identification Baseline in vitro でしょうか？
生成した画像を (128, 128, 3) を (256, 256, 3) にリサイズすると書いてありますね

1枚の画像をリサイズするサンプル

TensorFlow / Keras であれば、tf.image.resize_bilinear() という関数があるので、これでミニバッチをまとめてリサイズできます。

import cv2
import tensorflow as tf
import numpy as np

# 入力画像作成
img = np.random.randint(0, 10, (128, 128, 3), dtype=np.uint8)

# OpenCV によるリサイズ
cv_resized = cv2.resize(img, (256, 256), interpolation=cv2.INTER_LINEAR)
print(cv_resized.shape)  # (256, 256, 3)

# TensorFlow によるリサイズ
x = tf.placeholder(tf.float32)
resize = tf.image.resize_bilinear(x, (256, 256))
with tf.Session() as sess:
    tf_resized = sess.run(resize, feed_dict={x: img[np.newaxis, ...]})
    tf_resized = tf_resized[0]
print(tf_resized.shape)  # (256, 256, 3)

# OpenCV と TensorFlow のリサイズ結果が一致するかどうか
print(np.any(np.isclose(cv_resized, tf_resized)))  # True

速度

• N枚の画像を1枚ずつ cv.resize() でリサイズする。
• Tensorflow の tf.image.resize_bilinear() でN枚の画像をまとめてリサイズする。

import time
import cv2
import numpy as np
import tensorflow as tf

# 入力画像作成
num_imgs = 100
img_batch = np.random.randint(0, 10, (num_imgs, 128, 128, 3), dtype=np.uint8)

# OpenCV によるリサイズ
#------------------------------------
start = time.time()
for img in img_batch:
    cv2.resize(img, (256, 256), interpolation=cv2.INTER_LINEAR)
end = time.time() - start
print('resize {} images by using cv2.resize(): {:.4f} s'.format(num_imgs, end))

# TensorFlow によるリサイズ
#------------------------------------
x = tf.placeholder(tf.float32)
resize = tf.image.resize_bilinear(x, (256, 256))

start = time.time()
with tf.Session() as sess:
    sess.run(resize, feed_dict={x: img_batch})
end = time.time() - start
print('resize {} images by using tf.image.resize_bilinear(): {:.4f} s'.format(num_imgs, end))

resize 100 images by using cv2.resize(): 0.0144 s
resize 100 images by using tf.image.resize_bilinear(): 0.0330 s

OpenCV のほうが早い結果になりました。
TensorFlow でもリサイズは GPU ではなく、CPU で行っているのではないでしょうか？
OpenCV はこうした処理はかなり最適化されてるので、OpenCV のほうが早いのでしょう。

Comments

[sasasho]

かなり詳しく教えていただき、ありがとうございます。入力はnumpyの二次元配列(128, 128)でchannelの部分がない白黒画像なので、GANを行ったあとのリサイズで利用させていただきます！

Answer 3

こうですか？

A = np.empty((256,256),float)

#Aに値を代入(省略)

#128×128の配列BにAを圧縮して代入する
B = np.empty((128,128),float)

for i in range(128):
    for j in range(128):
        B[i][j]=0
        for k in range(2):
            for l in range(2):
                B[i][j]=B[i][j]+A[2*i+k][2*j+l]/4

Comments

[sasasho]

ありがとうございます。ピクセルの数が(1/2)^2になるので、元の4マス分の平均値を1マスに入れるということですね！私には少々複雑ですが、試しにやってみたいと思います！