大量枚数の骨格抽出画像処理

Question

Pythonを使用して骨格情報の抽出を行う画像処理をしています。
現在使用しているプログラムでは、1枚ずつしか処理を行う事が出来ず、1000枚ほどの画像処理をループ処理で行うプログラムを作成したいです。

FromImgName = r'抽出前の元画像ファイル名'
ToImgName = r'抽出後の画像格納ファイル名'

files = os.listdir(FromImgName)

上記をclass　HandDetector文の前に記載し、for文にてループ処理を行うようにしました。
しかし、画像すら読み込むことが出来ず、処理が行えませんでした。
また、メモ帳からバッチファイルを作成してコマンドプロンプトにかけたのですが、処理すら行えませんでした。

ファイル名を指定し、そのファイル内の画像をまとめて骨格情報抽出を行いたいです。
抽出前の画像の名前をそのまま抽出後の画像の名前にしたいです。

現在は、コマンドプロンプトにて画像を指定して処理を行っています。
python hand_detector.py handnet models/handnet.npz --img data/hand.png

該当のソースコード

ソースコード
```import cv2
import argparse
import numpy as np
from scipy.ndimage.filters import gaussian_filter
import chainer
from chainer import cuda, serializers, functions as F
from entity import params
from models.HandNet import HandNet

chainer.using_config('enable_backprop', False)

class HandDetector(object):
    def __init__(self, arch=None, weights_file=None, model=None, device=-1):
        print('Loading HandNet...')
        self.model = params['archs'][arch]()
        serializers.load_npz(weights_file, self.model)

        self.device = device
        if self.device >= 0:
            cuda.get_device_from_id(device).use()
            self.model.to_gpu()

            # create gaussian filter
            ksize = params['ksize']
            kernel = cuda.to_gpu(self.create_gaussian_kernel(sigma=params['gaussian_sigma'], ksize=ksize))
            self.gaussian_kernel = kernel

    def __call__(self, hand_img, fast_mode=False, hand_type="right"):
        if hand_type == "left":
            hand_img = cv2.flip(hand_img, 1)

        hand_img_h, hand_img_w, _ = hand_img.shape

        resized_image = cv2.resize(hand_img, (params["hand_inference_img_size"], params["hand_inference_img_size"]))
        x_data = np.array(resized_image[np.newaxis], dtype=np.float32).transpose(0, 3, 1, 2) / 256 - 0.5

        if self.device >= 0:
            x_data = cuda.to_gpu(x_data)

        hs = self.model(x_data)
        heatmaps = F.resize_images(hs[-1], (hand_img_h, hand_img_w)).data[0]

        if self.device >= 0:
            heatmaps = heatmaps.get()

        if hand_type == "left":
            heatmaps = cv2.flip(heatmaps.transpose(1, 2, 0), 1).transpose(2, 0, 1)

        keypoints = self.compute_peaks_from_heatmaps(heatmaps)

        return keypoints

    # compute gaussian filter
    def create_gaussian_kernel(self, sigma=1, ksize=5):
        center = int(ksize / 2)
        kernel = np.zeros((1, 1, ksize, ksize), dtype=np.float32)
        for y in range(ksize):
            distance_y = abs(y-center)
            for x in range(ksize):
                distance_x = abs(x-center)
                kernel[0][0][y][x] = 1/(sigma**2 * 2 * np.pi) * np.exp(-(distance_x**2 + distance_y**2)/(2 * sigma**2))
        return kernel

    def compute_peaks_from_heatmaps(self, heatmaps):
        keypoints = []
        xp = cuda.get_array_module(heatmaps)

        if xp == np:
            for i in range(heatmaps.shape[0] - 1):
                heatmap = gaussian_filter(heatmaps[i], sigma=params['gaussian_sigma'])
                max_value = heatmap.max()
                if max_value > params['hand_heatmap_peak_thresh']:
                    coords = np.array(np.where(heatmap==max_value)).flatten().tolist()
                    keypoints.append([coords[1], coords[0], max_value]) # x, y, conf
                else:
                    keypoints.append(None)
        else:
            heatmaps = F.convolution_2d(heatmaps[:, None], self.gaussian_kernel, stride=1, pad=int(params['ksize']/2)).data.squeeze().get()
            for heatmap in heatmaps[:-1]:
                max_value = heatmap.max()
                if max_value > params['hand_heatmap_peak_thresh']:
                    coords = np.array(np.where(heatmap==max_value)).flatten().tolist()
                    keypoints.append([coords[1], coords[0], max_value]) # x, y, conf
                else:
                    keypoints.append(None)

        return keypoints

def draw_hand_keypoints(orig_img, hand_keypoints, left_top):
    img = orig_img.copy()
    left, top = left_top

    finger_colors = [
        (0, 0, 255),
        (0, 255, 255),
        (0, 255, 0),
        (255, 0, 0),
        (255, 0, 255),
    ]

    for i, finger_indices in enumerate(params["fingers_indices"]):
        for finger_line_index in finger_indices:
            keypoint_from = hand_keypoints[finger_line_index[0]]
            keypoint_to = hand_keypoints[finger_line_index[1]]

            if keypoint_from:
                keypoint_from_x, keypoint_from_y, _ = keypoint_from
                cv2.circle(img, (keypoint_from_x + left, keypoint_from_y + top), 3, finger_colors[i], -1)

            if keypoint_to:
                keypoint_to_x, keypoint_to_y, _ = keypoint_to
                cv2.circle(img, (keypoint_to_x + left, keypoint_to_y + top), 3, finger_colors[i], -1)

            if keypoint_from and keypoint_to:
                cv2.line(img, (keypoint_from_x + left, keypoint_from_y + top), (keypoint_to_x + left, keypoint_to_y + top), finger_colors[i], 1)

    return img

if __name__ == '__main__':
    parser = argparse.ArgumentParser(description='Face detector')
    parser.add_argument('arch', choices=params['archs'].keys(), default='facenet', help='Model architecture')
    parser.add_argument('weights', help='weights file path')
    parser.add_argument('--img', help='image file path')
    parser.add_argument('--gpu', '-g', type=int, default=-1, help='GPU ID (negative value indicates CPU)')
    args = parser.parse_args()

    # load model
    hand_detector = HandDetector(args.arch, args.weights, device=args.gpu)

    # read image
    img = cv2.imread(args.img)

    # inference
    hand_keypoints = hand_detector(img, hand_type="right")

    # draw and save image
    b_img = np.full((600,600,3), 0, dtype = np.float32)
    img = draw_hand_keypoints(b_img,hand_keypoints, (0, 0))
    print('Saving result into result.png...')
    cv2.imwrite('result.png',img)


### 補足情報（FW/ツールのバージョンなど）
下記のサイトのプログラムを使用して処理を行っています。
https://github.com/DeNA/Chainer_Realtime_Multi-Person_Pose_Estimation

Comments

[TakaiY]

> ファイル名を指定し、そのファイル内の画像をまとめて骨格情報抽出を行いたい
「ファイル内の画像」とありますが、どういう意味でしょうか？
「ディレクトリ(フォルダ)」内の画像ではありませんか？

[pyda_ry]

ディレクトリ（フォルダ）内の画像という意味です。
ディレクトリ内の画像をまとめて骨格情報抽出の処理を行いたいです。

Answer 1

以下のようにするといいでしょう。

■ 変更方法
処理の本体は「if name == 'main': 」以降の処理にあるので、変更するならここです。

■ ディレクトリ内のファイルの一覧取得
「 # load model」 の前あたりでファイル一覧を取得します。
質問にある「os.listdir」でうまくとれるのであればそれでいいですし、glob.glob() や pathlib.glob() をつかうのもいいと思います。

■ ループの場所
「 # load model」以降が1ファイルあたりの処理なので、ここでループします。
ループ変数をファイル名にして、cv2.imread() に与えます。

■ 出力ファイル名
このままでは、全て同じファイルに上書きしていってしまうので、出力ファイル名を生成します。
元のファイル名から作るのがいいですが、意外に面倒です。

Comments

[pyda_ry]

上記の箇所を変更し、プログラムを実行したのです、このようにエラーが出てしまいました。
これは、画像情報を習得できず、処理が行えなかったという事でしょうか？

python hand_pose.py
usage: hand_pose.py [-h] [--img IMG] [--gpu GPU]
{posenet,facenet,handnet} weights
hand_pose.py: error: the following arguments are required: arch, weights

[TakaiY]

なるほど。
そのエラーは、必要な引数を与えていないから出ているエラーですね。

通常、プログラムの動作を変更するには、いろいろなところを変えなければなりません。
pythonプログラムについての知識がないとかなり難しいと思います。 ここを抜けてもまたいろいろ出てくるでしょう。

それでも、ということであれば、 if __name__ == '__main__': の直後にあるargparse関連の記述が引数の定義ですので、不要なものは削除して、追加が必要なものは追加して、起動時に適切に引数を渡す必要があります。

他の解決方法としては、windows であれば、powershell とか コマンドプロンプト、MacやLinuxであればシェルでコマンドを作って処理する手があります。

[pyda_ry]

引数の設定を変更しないと難しいですよね。

powershellやコマンドプロンプトを使って処理を行う方法ですと、バッチファイルを作成し、ループ処理を行う方法という事で合っていますでしょうか？

[TakaiY]

はい。 ディレクトリ内のファイルの一覧を取得して、ループで回して、コマンドの引数に1つずつ与えて処理する感じですね。
また、出力ファイル名もすべて「result.png」になりますので、処理後に名前を変更する必要がありますね。