python 1枚の画像から部分画像のミニバッチ生成の高速化

Question

pythonで1枚の画像から、部分画像を切り出してきてミニバッチを生成するプログラムで
256x256画像から、20パターンの回転、3ピクセルごとのスライディングウィンドウで32x32を切り出し、並べてミニバッチを作成します。
プログラムは下記の様に作成し機能は満たしていますが、非常に時間がかかるため、
高速化したいです。どのようにコーディングすれば良いでしょうか。

def genImageInputs(image, stride=5, size=32, num_rot=20):
    width = image.shape[1]
    height = image.shape[0]
    hsize = size//2
    
    stack = np.copy(image).reshape(1, width, height)
    output = None
    for r in range(1, num_rot):
        rot = r * 180 / num_rot
        pil_img = Image.fromarray(image)
        pil_img = pil_img.rotate(rot)
        stack = np.concatenate([stack, np.asarray(pil_img).reshape(1, width, height)], 0)
        #print(stack.shape)
    for i in np.arange(hsize, width-hsize, stride):
        for j in np.arange(hsize, height-hsize, stride):
            sub = stack[:, j-hsize:j+hsize, i-hsize:i+hsize]
            if output is None:
               output = sub
            else:
                output = np.concatenate([output, sub], 0)
    return output

Answer 1

concat部分をlist.appendに変更しループの外でconcatすることで解決しました。

Answer 2

※追記：手違いで乱立してしまいました すみません

私はPythonについて「特別」詳しいというわけではないので、それほど力になれず申し訳ありませんが、
下記のようなコードを実行した際にHikuichiSan様の環境では実行速度が変わりますでしょうか？

import time
import numpy as np
from PIL import Image
from multiprocessing import Process


def genImageInputs(img, stride=5, size=32, num_rot=20):
    start = time.time()
    width = img.shape[1]
    height = img.shape[0]
    hsize = size // 2
    print(img.dtype, img.shape)
    stack = np.copy(img).reshape(1, 256, 256)
    output = None
    for r in range(1, num_rot):
        rot = r * 180 / num_rot
        pil_img = Image.fromarray(img)
        pil_img = pil_img.rotate(rot)
        stack = np.concatenate([stack, np.asarray(pil_img).reshape(1, 256, 256)], 0)
        for i in np.arange(hsize, width - hsize, stride):
            for j in np.arange(hsize, height - hsize, stride):
                sub = stack[:, j - hsize:j + hsize, i - hsize:i + hsize]
                if output is None:
                    output = sub
                else:
                    output = np.concatenate([output, sub], 0)
                    return output
                print(time.time() - start)

if __name__ == "__main__":
    dummy_input = np.zeros((256, 256))
    print(dummy_input.shape)
    genImageInputs(dummy_input)
    p = Process(target=genImageInputs,args=(dummy_input,))
    p.start()
    p.join()

Comments

[HikuichiSan]

該当コードは、自分の環境では動きませんでした。
concatをループの外に出すことで1sec切ることができました。
ご回答ありがとうございます

Answer 3

実機で確認致しましたが起動できませんでした
全文を記載してください

また、どのように速度を向上させたいかによりますが、
Cython,multiprocessing,multithread,そもそも論ではコードの最適化になります

Comments

[HikuichiSan]

全文です。基本的にconcatでメモリコピーが発生して遅くなっていると思います。
現在100sec以上かかっているので、効率の良い書き方を探しています

```
import time
import numpy as np
import PIL
from PIL import Image

def genImageInputs(img, stride=5, size=32, num_rot=20):
width = img.shape[1]
height = img.shape[0]
hsize = size//2
print(img.dtype, img.shape)

stack = np.copy(img).reshape(1, 256, 256)
output = None
for r in range(1, num_rot):
rot = r * 180 / num_rot
pil_img = Image.fromarray(img)
pil_img = pil_img.rotate(rot)
stack = np.concatenate([stack, np.asarray(pil_img).reshape(1, 256, 256)], 0)
for i in np.arange(hsize, width-hsize, stride):
for j in np.arange(hsize, height-hsize, stride):
sub = stack[:, j-hsize:j+hsize, i-hsize:i+hsize]
if output is None:
output = sub
else:
output = np.concatenate([output, sub], 0)
return output

dummy_input = np.zeros((256, 256))
print(dummy_input.shape)
start = time.time()
genImageInputs(dummy_input)
print(time.time()-start)
```続きを読む ∨