opencvを使ってカメラ画像を表示するコードとキーボード入力を取得してi2c通信をするコードを用意したが二つを合わせるのがうまくいかない

Question

機体：ラズベリーパイ
OS：Raspberry Pi OS　ver10.8
言語：python3

したいこと：
ラズベリーパイ（とAruduino）を使って遠隔操作カメラを用意する。
プログラムの内容：
・ライブカメラ映像を表示する
・キーボード入力によりAruduinoとi2c通信をする。Aruduinoでカメラに付けたモーターを回転させて視界を移すことができる

問題：
”カメラ映像を表示するプログラム” と "キーボード入力を受け付けてAruduinoとi2c通信を行うプログラム" の二つのプログラムファイルを用意してそれぞれ実行して動作を確認した。さらに二つのファイルを個別に同時に動作させることで一応の監視カメラを用意することができた。ここまではよかった。この後二つのプログラムをまとめた一つのプログラムファイルを作ってみたところAruduinoとの通信はできるがカメラ映像が表示されないものができてしまった。何がいけないのか意見を聞きたい。
下に元の二つのプログラムとそれらを合わせたプログラムを載せる。

エラーメッセージ：
エラーメッセージは出ていない。

お願いいたします。m(＿ ＿)m

ライブカメラのプログラム

import cv2

capture = cv2.VideoCapture(0)
if capture.isOpened() is False:
  raise IOError

while(True):
  try:
    ret, frame = capture.read()
    if ret is False:
      raise IOError
    cv2.imshow('frame',frame)
    cv2.waitKey(1)
  except KeyboardInterrupt:
    # 終わるときは CTRL + C を押す
    break

capture.release()
cv2.destroyAllWindows()

キーボード入力を取得してAruduinoとi2c通信をするプログラム

# -*- coding: utf-8 -*-
import smbus
from time import sleep
import readchar

bus = smbus.SMBus(1)

SLAVE_ADDRESS = 0x04
print("a:left, d:right, o;up, k:down ")

def writeCommand(cmd):
    bus.write_byte(SLAVE_ADDRESS, cmd)
    print("send: ",cmd)

while True:
    command = readchar.readkey()
    if str(command) == "a":
        command = 1
    elif str(command) == "d":
        command = 2
    elif str(command) == "o":
        command = 3
    elif str(command) == "k":
        command = 4
    elif command == ('q'):
        break
    else:
        command = 5
    if command >= 0 and command <= 180:
        writeCommand(command)
    else:
        print("Error")

上の二つを合わせた問題のプログラム　（カメラ映像が表示されない）

#!/usr/bin/python
# -*- coding: utf-8 -*-
import cv2
import smbus
from time import sleep
import readchar

bus = smbus.SMBus(1)
SLAVE_ADDRESS = 0x04
print("a:left, d:right, o;up, k:down ")


cap = cv2.VideoCapture(0)
if cap.isOpened() is False:
  raise IOError
# デフォルト画面サイズ横幅
W = cap.get(cv2.CAP_PROP_FRAME_WIDTH)
# デフォルト画面サイズ縦、高さ
H = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)
# デフォルトfps
fps = cap.get(cv2.CAP_PROP_FPS)
#デフォルトの画面サイズとfpsを確認
print('W,H,fps: ', W , H , fps)
#メモ W,H,fps:  640.0 480.0 30.0


def writeCommand(cmd):
    bus.write_byte(SLAVE_ADDRESS, cmd)
    print("send: ",cmd)

while(True):
    
    #画面取得
    ret, frame = cap.read()

    #反転frame=cv2.flip(frame, 0)
    if ret == True:
        #画面への描写
        cv2.imshow('frame',frame)
        #2.waitKey(5)
        
        command = readchar.readkey()
        if str(command) == "a":
            command = 1
        elif str(command) == "d":
            command = 2
        elif str(command) == "o":
            command = 3
        elif str(command) == "k":
            command = 4
        elif command == ('q'):
            break
        else:
            command = 5
        if command >= 0 and command <= 180:
            writeCommand(command)
        else:
            print("Error")

    
 
cap.release()
cv2.destroyAllWindows()

Answer 1

waitKey は、キー入力所得だけでなく、GUIイベントの処理を兼ねている為、
opencvの提供するHighGUIを利用する場合は、waitKeyを定期的に呼び出す必要があります。

リファレンスより

imshow NOTE

This function should be followed by cv::waitKey function which displays the image for specified milliseconds. Otherwise, it won't display the image.

waitKey NOTE

This function is the only method in HighGUI that can fetch and handle events, so it needs to be called periodically for normal event processing unless HighGUI is used within an environment that takes care of event processing.

imshow を使う場合は waitKey を呼び出さなければならず、
制限として、キー入力の所得が競合してしまう為、
解決策としては、以下のどちらかの対策を取る事になります。

• readchar ではなく waitKey を使い入力を独自に処理する。

　質問のコードの様に一文字であれば、問題はありませんが、
それ以上の入力を扱う場合は、入力のバッファリングを独自に実装する必要があります。

• opencv の提供するGUI (imshow) を使わず、別のGUIを利用する。

　imread で得た frame を画像データとして適切なフォーマットに変換し、
GUI に描画します。
文字入力の扱いは、GUIのキーボード・ショートカットとして実装出来ます。

Comments

[otaka]

回答して頂きありがとうございます。
ご指摘を頂き以下の点を変更し結果、映像が表示されて入力もできるコードを用意することができました。
・cv2.imshow()の直後にcv2.waitKey(1)を挿入
・readchar.readkey()からcv2.waitKey(200)に変更　←この時間が短いとキーを押し続けているのにキーから手を離している判定が定期的に差し込まれた。

imshow()を使わない方も気にはなりますが今回はimshow()を使うやり方のままでやろうと思います。
リファレンスも見やすく助かりました。ありがとうございました。m(＿ ＿)m