【Python】opencvを使って、モニターの画面を表示させる。

Question

#OpenCVを使って、サブモニターの画面をリアルタイム表示させたいです。
opencvでは、内部、外部カメラと、動画、画像しか読むことしか出来ないと捕らえました。
画面録画をしている方がいるので、不可能ではないと思いました。

具体的には、自作カスケードで、画像認証をしたりします。

###私の考え（実現可能かどうか、判断してくださると幸いです）
画面を1秒ごとに、スクショします。
その画像を、毎秒opencvで読ませて、認証させる。

---

pythonにこだわってないので、**c++**なら可能でも問題ないです。

Comments

[yuki23]

質問は何でしょうか？

Answer 1

Pillowを使えば、スクリーンショットは簡単に取得できます。
Pillowのimage形式のデータはNumpyでndarrayに変換できるので、あとはopencvで好きなように画像をいじれば良いかと思います。

検証コード：

from PIL import ImageGrab
import numpy as np
import cv2

# スクリーンキャプチャ
img = ImageGrab.grab()
# PILのimageをndarrayに変換
cv_img = np.array(img, dtype=np.uint8)
# 色変換
cv_img = cv2.cvtColor(cv_img, cv2.COLOR_RGB2BGR)
# テスト：画面表示
cv2.imshow('figure',cv_img)
cv2.waitKey(0)
cv2.destroyAllWindows()

追記：マルチモニターの場合

ImageGrab.grab()の引数に all_screens=True,を入れると全てのスクリーンを一度に取得できます。Falseの場合は現在フォーカスがあるモニタ側の取得で、こちらがデフォルト動作。
そこから必要な部分を手動でクリッピングする必要があります。
全体取得してからクリッピングしても良いですし、bbox = (top, left, rigth, bottom) オプションでクリップする座標を指定できます。

# 例：横並びHullHD2台のモニタがあったとして、右側のモニタだけをクリップする場合
img = ImageGrab.grab( all_screens=True, bbox=(1920,0,3840,1080) )

モニタ番号等の指定は不可能です。全体取得した画像から自力で判断してください。

その他のオプションは公式リファレンスを参照：
https://pillow.readthedocs.io/en/stable/reference/ImageGrab.html

Comments

[jbpb0]

> Pillowを使えば、スクリーンショットは簡単に取得できます。

スクリーンキャプチャの対象をメインモニターとサブモニターのどちらにするのかは、どのようにして指定するのでしょうか？

[hope_mucci]

回答に追記しました。「今動作しているモニタ画面」か「つなげている画面領域全体」のどちらかが選択可能です。