python＋openCVでのシリアル通信について

Question

PythonにてOpenCVを用いて画像処理をしています。
処理結果を用いて、別装置（マイコン）にシリアル通信でデータのやり取りを行い
その別装置を動かそうとしていいるのですが、どうも通信に遅れが生じてしまいます（マイコンからは「py,0000,0000,0000」のような信号を送っています。
送れなく、リアルタイムで通信ができるやり方があれば教えてください。
Pythonのコードは下記のものになります

import sys
import serial
from cv2 import cv2

comport = serial.Serial("COM1", baudrate=115200, parity=serial.PARITY_NONE, timeout=None)

def data_send(buf):
    while True:
        if comport.out_waiting == 0:
            break

    data = buf +'\r\n'
    send_data = data.encode('UTF-8')
    comport.write(send_data)
    return

def data_recieve():
    
    if(comport.in_waiting > 0):
        recieve_data = comport.readline()
        
        try:
            recieve_data_disp = recieve_data.strip().decode('UTF-8')
            return str(recieve_data_disp)
        except:
            return

def main():

    cap = cv2.VideoCapture(0)

    while True:
        ret, frame = cap.read()
        recieve_data = data_recieve()

        print(recieve_data)
　　　　data_send(recieve_data)

        
        cv2.imshow('img',frame)

        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

    comport.close()

if __name__ == '__main__':
    main()

Comments

[A_kirisaki]

どこで遅延が発生しているか測定してみましたか？ものによっては根本的に解決が不可能な場合もあります。

[c-s]

通信のみ部分のプログラム（OpenCVでの画像処理なし）では送受信ともに遅延はありませんでした。
また、送信側に関しても遅延なく、受信側でのみ遅延が発生していました。
もちろんマイコン側の送信を見ても遅延なく遅れているため、python側の受信のみで遅れが発生していました

[A_kirisaki]

> また、送信側に関しても遅延なく、受信側でのみ遅延が発生していました。
送受信のみ部分ということでしょうか。それとも画像処理を載せてからでしょうか。ちょっと曖昧でよくわからなかったです。（あと今更だけどコードは前後を ``` で囲ってインデントも入れてね）
```Python
def example(x):
return x
```

[c-s]

```で囲むの知りませんでした
ありがとうございます。
画像処理を載せる前は遅延はなかったのですが、
載せてから受信で数秒の遅れが発生しました。
ただし、遅れが蓄積されているような様子がなかったことも気になります

Answer 1

一つのループで重い「画像処理」とリアルタイム性が必要な「シリアル通信」を行っていることが原因です。マルチスレッド化を考えましょう。
threading --- スレッドベースの並列処理 — Python 3.9.1 ドキュメント
具体的には「画像処理のループ」と「シリアル通信のループ」に分けてそれぞれのスレッドを立てることになるかと思います。

import threading
import time

def serial_communicate(args):
    while True:
        ...

def image_process(args):
    while True:
        ...

def main():
    th_com = threading.Thread(target=serial_communicate, args=(foo, bar), daemon=True)
    th_img = threading.Thread(target=image_process, args=(baz, quax), daemon=True)
    th_com.start()
    th_img.start()

    while True:
        time.sleep(1)

こんな感じにしておけばよかろーなんではないんでしょうか、多分。

Comments

[c-s]

遅延なくできるようになりました。
手寧な説明ありがとうございました。
並列処理なんで画像処理止めてもシリアルは残ってしまうようですが、
取りあえずやりたいことはできそうなんでもう少し手を加えたいと思います