Pythonで特定のウィンドウをキャプチャする

Question

前提

Pythonで特定のウィンドウをキャプチャして画像処理を施したものをtkinterのウィンドウに表示するアプリケーションを製作しています。

実現したいこと

• 指定したウィンドウのキャプチャ
• キャプチャした画像の処理
• 画像をtkinterで表示

発生している問題

・ImageGrab.grab()で取得した画像に処理を加えてcv2.imshow()で表示する事はできたがディスプレイ全体のスクリーンショットしか出来ない所為で合わせ鏡の様に延々と暗くなってしまう。理想としてはchromeやZoomなど実行中のアプリケーションを指定してそのウィンドウだけをキャプチャしたい。最前面に出す必要が無ければなおよし。

・処理もWhile文で回しているだけなので使い勝手が悪い。

・生成したウィンドウサイズも変えられない。

基本のソースコード

from PIL import ImageGrab
import numpy as np
import cv2

print("--- Running Now ---")

while True:
    # スクリーンキャプチャ
    img = ImageGrab.grab()

    # PILのimageをndarrayに変換
    cv_img = np.array(img, dtype=np.uint8)

    # 色変換
    cv_img = cv2.cvtColor(cv_img, cv2.COLOR_RGB2BGR)

    hsv_img = cv2.cvtColor(cv_img, cv2.COLOR_BGR2HSV)
    s_magnification = 4  # 彩度(Saturation)の倍率
    v_magnification = 0.4  # 明度(Value)の倍率
    hsv_img[:,:,(1)] = hsv_img[:,:,(1)]*s_magnification  # 彩度の計算
    hsv_img[:,:,(2)] = hsv_img[:,:,(2)]*v_magnification  # 明度の計算
    img_bgr = cv2.cvtColor(hsv_img,cv2.COLOR_HSV2BGR)  # 色空間をHSVからBGRに変換

    # 画面表示
    cv2.imshow('figure',img_bgr)
    cv2.waitKey(1)

試したこと

このサイトを参考にWhile文に頼らず実行したい時間だけキャプチャし続ける様にしたかったが、カメラ情報を無理やりキャプチャ画像に入れ替えただけな所為で失敗。表示ウィンドウのサイズに関してはこれが実現できれば達成。
指定したウィンドウのキャプチャは未だに良い方法が浮かばず。

import tkinter as tk
from tkinter import filedialog
from PIL import Image, ImageTk, ImageOps  # 画像データ用
from PIL import ImageGrab
import numpy as np

import cv2

class Application(tk.Frame):
    def __init__(self, master = None):
        super().__init__(master)
        self.pack()

        self.master.title("OpenCVの動画表示")       # ウィンドウタイトル
        self.master.geometry("400x300")     # ウィンドウサイズ(幅x高さ)

        # Canvasの作成
        self.canvas = tk.Canvas(self.master)
        # Canvasにマウスイベント（左ボタンクリック）の追加
        self.canvas.bind('<Button-1>', self.canvas_click)
        # Canvasを配置
        self.canvas.pack(expand = True, fill = tk.BOTH)

        # カメラをオープンする
        img = ImageGrab.grab()
        self.capture = np.array(img, dtype=np.uint8)

        self.disp_id = None

    def canvas_click(self, event):
        '''Canvasのマウスクリックイベント'''

        if self.disp_id is None:
            # 動画を表示
            self.disp_image()
        else:
            # 動画を停止
            self.after_cancel(self.disp_id)
            self.disp_id = None

    def disp_image(self):
        '''画像をCanvasに表示する'''

        # フレーム画像の取得
        ret, frame = self.capture

        # BGR→RGB変換
        cv_img = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)

        hsv_img = cv2.cvtColor(cv_img, cv2.COLOR_BGR2HSV)
        s_magnification = 4  # 彩度(Saturation)の倍率
        v_magnification = 0.4  # 明度(Value)の倍率
        hsv_img[:,:,(1)] = hsv_img[:,:,(1)]*s_magnification  # 彩度の計算
        hsv_img[:,:,(2)] = hsv_img[:,:,(2)]*v_magnification  # 明度の計算
        img_bgr = cv2.cvtColor(hsv_img,cv2.COLOR_HSV2BGR)  # 色空間をHSVからBGRに変換

        # NumPyのndarrayからPillowのImageへ変換
        pil_image = Image.fromarray(img_bgr)

        # キャンバスのサイズを取得
        canvas_width = self.canvas.winfo_width()
        canvas_height = self.canvas.winfo_height()

        # 画像のアスペクト比（縦横比）を崩さずに指定したサイズ（キャンバスのサイズ）全体に画像をリサイズする
        pil_image = ImageOps.pad(pil_image, (canvas_width, canvas_height))

        # PIL.ImageからPhotoImageへ変換する
        self.photo_image = ImageTk.PhotoImage(image=pil_image)

        # 画像の描画
        self.canvas.create_image(
                canvas_width / 2,       # 画像表示位置(Canvasの中心)
                canvas_height / 2,
                image=self.photo_image  # 表示画像データ
                )

        # disp_image()を10msec後に実行する
        self.disp_id = self.after(10, self.disp_image)

if __name__ == "__main__":
    root = tk.Tk()
    app = Application(master = root)
    app.mainloop()

ValueError: too many values to unpack (expected 2)

補足情報（FW/ツールのバージョンなど）

開発にはVScodeを使用しています。

Comments

[Kasairyu]

指定したウィンドウのキャプチャは兎も角While文を使わずtkinterに写す方法だけでも解決できる方が居たらご教授ください。

Answer 1

上のコードでリサイズ可能。バックエンドにもよるみたいですが、オプションが有ります

cv2.namedWindow("figure", cv2.WINDOW_NORMAL)

tkinter のコードのエラー修正

- ret, frame = self.capture
+ frame = self.capture

追加で注意点が幾つか

スクリーンのキャプチャーを所得してるコードは、__init__ 内で実行されている為
プログラム起動時に１度だけ実行されます。
リアルタイムに反映するにはタイマー内で所得するように変更します。

# __init__ では最初に一度のみなので、disp_image へ移動

        img = ImageGrab.grab()
        self.capture = np.array(img, dtype=np.uint8)

---

毎回 create_image はメモリリークになるので、毎回 delete するか、
create_image の戻り値を控えておいて
itemconfigureメソッド で PhotoImage のみ差し替えるようにすると回避できます。

+ self.canvas.delete("all")
self.canvas.create_image(...)

---

タイマー(GUIスレッド)内での 10ms 間隔でのキャプチャ＋フィルタ処置は、
スペックによってはGUIのレスポンスが悪くなることがあります。
別スレッドでキャプチャ＋画像処理を行い、
タイマー内ではPhotoImage生成とキャンバスの描画更新のみするようにすると改善できます。

---

ウィンドウのキャプチャ方法は、プラットフォームにより異なります。
方法によっては、背後のウィンドウは所得出来ない等、それぞれの方法に違いもあります。

Comments

[Kasairyu]

無事実装できました。改善案までご提示頂き本当にありがとうございます。