arduinoについたセンサーと、pythonで動かすカメラを時間を使って同期を取りたい

Question

コード1 
# -*- coding: utf-8 -*-
"""
Created on Tue Mar 28 18:05:27 2023

@author: kawashima
"""

# -*- coding: utf-8 -*-
"""
Created on Mon Mar 27 19:18:37 2023

@author: kawashima
"""
import os
os.environ["OPENCV_VIDEOIO_MSMF_ENABLE_HW_TRANSFORMS"] = "0"
import cv2
import time
import serial
import csv

# Arduinoのポート名
ser = serial.Serial('COM3', 9600)

# データを保存するためのリスト
data = []

# 録画時間（秒）
record_time = 360
# カメラの設定
cap1 = cv2.VideoCapture(0)
cap2 = cv2.VideoCapture(1)
cap1.set(cv2.CAP_PROP_FPS, 30)
cap2.set(cv2.CAP_PROP_FPS, 30)

# 動画保存の設定
fourcc = cv2.VideoWriter_fourcc(*'XVID')
out1 = cv2.VideoWriter('output1.avi', fourcc, 30.0, (640, 480))
out2 = cv2.VideoWriter('output2.avi', fourcc, 30.0, (640, 480))

# 録画フラグの初期化
recording = False

# 録画開始時間の初期化
start_time = None

while True:
    # フレームの取得
    ret1, frame1 = cap1.read()
    ret2, frame2 = cap2.read()

    # キー入力の取得
    key = cv2.waitKey(1)

    # sキーが押された場合の処理
    if key == ord('s'):
        recording = True
        start_time = time.time()
        print("Recording started")
        # プログラム開始時刻を保存
    # 録画中の場合の処理
    if recording:
        # 動画にフレームを追加
        out1.write(frame1)
        out2.write(frame2)
        # Arduinoからデータを受信
        line = ser.readline().decode().strip()
        print(line)
        # 受信したデータをカンマで分割
        x, y, z, timestamp = line.split(',')
        
        # プログラム開始時刻からの経過時間を計算
        elapsed_time = time.time() - start_time
        
        # データを保存
        data.append([elapsed_time, x, y, z])
　　　**# 現在のタイムスタンプを取得し、リストに追加する**
        timestamp = time.time()
        timestamps.append(timestamp)
        # 指定した録画時間が経過した場合の処理
        if elapsed_time > record_time:
          recording = False
          print("Recording stopped")
          break

    # 画面表示
    cv2.imshow('camera1', frame1)
    cv2.imshow('camera2', frame2)

    # qキーが押された場合の処理
    if key == ord('q'):
        break
# データをCSVファイルに出力
with open('acceleration_data.csv', mode='w', newline='') as f:
    writer = csv.writer(f)
    writer.writerow(['Time (s)', 'Acceleration X', 'Acceleration Y', 'Acceleration Z'])
    writer.writerows(data)
    
ser.close()

# 終了処理
cap1.release()
cap2.release()
out1.release()
out2.release()
cv2.destroyAllWindows()

コード2
import cv2

# 動画ファイルのパス
video_path = 'output2.avi'

# 動画ファイルを開く
cap = cv2.VideoCapture(video_path)

# 動画のフレーム数を取得
frame_count = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))

# 動画のFPSを取得
fps = cap.get(cv2.CAP_PROP_FPS)

# 動画の長さ（秒）を計算
video_length_sec = frame_count / fps

# 結果を表示
print(f'動画のフレーム数: {frame_count}')
print(f'動画のFPS: {fps}')
print(f'動画の長さ: {video_length_sec:.2f}秒')

# メモリを開放して終了
cap.release()
cv2.destroyAllWindows()

void setup() {
  Serial.begin(9600);
}

void loop() {
       uint8_t i;
       long x=0;
       long y=0;
       long z=0;
       long t=0;
       for (i=0;i< 100;i++){
              x=x+analogRead(0);
              y=y+analogRead(1);
              z=z+analogRead(2);
              
       }
       x=x/100;
       y=y/100;
       z=z/100;
       t=millis();

       Serial.print(x);
       Serial.print(",");
       Serial.print(y);
       Serial.print(",");
       Serial.print(z);
       Serial.print(",");
       Serial.print(t); // タイムスタンプ
       Serial.print('\n');
       delay(20);
}

コードの説明

コード１
arduinoから送られてきたセンサーの値と時間のセットを拾いながら録画をするものです。
arduinoとwebカメラ二台をusbでつなげています。
コード２
動画のフレーム数、ｆｐｓ、長さ、を調べるものです
コード３
arduinoに書かれているプログラムです

発生している問題・エラーメッセージ

１．録画した動画が、倍速になることがあります。

２．arduinoから最後に出された時間とカメラの録画時間が一緒になりません。
arduinoの時間はrecord_timeとほぼ同じになりますが、撮影した動画の長さはrecord_timeよりも短くなります。record_timeを20に設定すると13秒、400に設定すると243秒程度の動画になります。

　

試したこと

１．一様プログラム２を使って調べてみましたが、プロパティと同じです。
２．record_timeを400にしたとき、タイムスタンプをプログラム１の77行目のように追加しました。すると398秒でした。398秒撮影して243秒の動画を7311フレームで構成しています。
400秒程度撮影して400秒程度の動画を12000フレームで構成してもらう必要があります。

補足情報（FW/ツールのバージョンなど）

やがては動画をフレームに分割し、一枚一枚の画像に分割したものを解析し、センサーのデータと時間を用いて照らし合わせる予定です。
動画での時間とarduinoからのtimestampが合わないと（実験の性質上誤差0.05秒程度で）、困ります。

追加で行った実験

# -*- coding: utf-8 -*-
"""
Created on Mon Mar 27 19:18:37 2023

@author: kawashima
"""
import os
os.environ["OPENCV_VIDEOIO_MSMF_ENABLE_HW_TRANSFORMS"] = "0"
import cv2
import time

# 録画時間（秒）
record_time = 360
# カメラの設定
cap1 = cv2.VideoCapture(0)
cap2 = cv2.VideoCapture(1)
cap1.set(cv2.CAP_PROP_FPS, 30)
cap2.set(cv2.CAP_PROP_FPS, 30)

# 動画保存の設定
fourcc = cv2.VideoWriter_fourcc(*'XVID')
out1 = cv2.VideoWriter('output1.avi', fourcc, 30.0, (640, 480))
out2 = cv2.VideoWriter('output2.avi', fourcc, 30.0, (640, 480))

# 録画フラグの初期化
recording = False

# 録画開始時間の初期化
start_time = None

while True:
    # フレームの取得
    ret1, frame1 = cap1.read()
    ret2, frame2 = cap2.read()

    # キー入力の取得
    key = cv2.waitKey(1)

    # sキーが押された場合の処理
    if key == ord('s'):
        recording = True
        start_time = time.time()
        print("Recording started")

    # 録画中の場合の処理
    if recording:
        # 動画にフレームを追加
        out1.write(frame1)
        out2.write(frame2)

        # 指定した録画時間が経過した場合の処理
        if time.time() - start_time > record_time:
            recording = False
            print("Recording stopped")
            break

    # 画面表示
    cv2.imshow('camera1', frame1)
    cv2.imshow('camera2', frame2)

    # qキーが押された場合の処理
    if key == ord('q'):
        break

# 終了処理
cap1.release()
cap2.release()
out1.release()
out2.release()
cv2.destroyAllWindows()

動画を撮るシステムだけを残して動かしてみました。
record_time を360にすると
動画のフレーム数: 10800
動画のFPS: 30.0
動画の長さ: 360.00秒
と正常でした。やはり、途中で処理を挟むと負荷がかかりすぎてダメなのでしょうか

Comments

[dameo]

まるで説明不足で調査不足です。同じ環境を持たない人に原因を聞くという状況をよく考えましょう。
万一全く同じモノを持ってる人なら、それが書いてある情報で認識できて、簡単に再現できるように聞かないといけません。
また調査も全部いっぺんにリアルタイムでやってしまっていては、どれが正しいのかどうか分かりませんよね？1つ1つ正しいことを確認してください。

私は多分以降コメント・回答はしません。

[yominet]

１．
カメラを１つだけにしても同じ結果になるか？

２．
撮影ループにカウンターをいれて、
撮影開始から終了までループが何周したか（フレーム数）を数えましょう
それが期待した値になっているか？

[fana]

e.g. カメラ映像の取得速度が秒間15回であったとして，２秒間取得したフレーム群（:30枚の画像）を用いて「30FPSという設定の動画」を作成したとき，できた動画の再生時間は1秒になる．
……みたいな話をしているのか？　（だとしたらどこにも謎は無いわけで）

[tmp]

説明が足りないので、プログラムそのものよりも何故そう書いてしまったかの方に
重点的に頭を働かせてエスパークイズとして挑戦してみようと思いますｗ

シリアルの出力は、周期は1行50ms程度と仮定すると
ser.readline()で、処理が待たされ動画データを1/30 (33ms)で記録することができないので
フレームが落ちてしまう為、約倍で再生されてしまう。
「倍速でされてしまうこともある」と、あるがそれは、動画撮影を開始するキーを押す前でも
シリアルはオープンされているので、その間バッファーに溜まっているので
動画撮影開始は、データ待ちが発生せず通常速度で記録されて、
バッファがなくなった場合に、データ待ちが発生してフレーム落ちが発生して動画後半が
速く再生されてしまう。

この推理が主張と合うか！
１．録画した動画が、倍速になってしまいます。
２．プロパティで見た動画の長さは、record_timeよりも20秒ほど短いです。ですが、センサーから計算した値はほぼrecord_timeと同じでした。

360秒記録で20秒短いで倍速だけだと、倍速だと180秒短くなるのではないかと思うが、タイトルのほうが「なることもある」とあるので
360秒記録で後半が倍速になって20秒ほど短くなるということで
2つの主張とタイトルあわせて辻褄があう！

外れてたらすまん。

[tmp]

arduinoの出力50ms周期あたった！？
analogReadが0.1ms　× 3 x100=30ms とdelay(20)で50msぐらい？
1/30(３３ms)付近にしたとても全く一緒にならないので、12000フレームも記録するのだったら同期させる処理をいれないとずれていきますね。
１フレームに１データを考えているんですね？

[kakakatokyoeki]

ありがとうございます。ワンフレームにワンデーターである必要は無いです。
動画、arduinoの始まりの時間と終わりの時間さえ一緒であればそれぞれのデータ取得の間隔が違っていても構いません。時間を横軸にしたグラフを作りたいだけなので。
　ただ、それぞれ毎秒20から30回データは取りたいです。

[dameo]

以下の情報は普通言われなくても付けてください。

■環境について
調査対象はPCですか？スペックを詳細に記述してください
調査対象のOSは何ですか？
調査対象のPythonのバージョンは何ですか？
調査対象のPythonでpipなどで明示的にインストールしているパッケージとそのバージョンは何ですか？
arduinoを動かしている基盤は何ですか？
arduinoのバージョンは何ですか？
カメラの型番は何ですか？

■動作確認について
カメラはそれぞれ単品でリアルタイム全フレーム(所定の時間でほぼバッファリングせずに)キャプチャできている確認は済んでいますか？
arduinoは9660bpsで確実に所定の時間でほぼバッファリングせずに通信できている確認は済んでいますか？
カメラ2台でリアルタイム全フレーム(所定の時間でほぼバッファリングせずに)キャプチャできている確認は済んでいますか？
カメラ2台＋arduinoでリアルタイム全フレーム(所定の時間でほぼバッファリングせずに)キャプチャしつつ、シリアル通信できている確認は済んでいますか？
※調査対象の高精度タイマを用いて、目標時間以内に処理が終わっていることの確認ができているかという意味

■システム要件について
何をしたいシステムなのか明確にしてください。その際以下も必ず入れてください。
- arduinoを使っている意味は何ですか？
- カメラでやりたいことは何ですか？

■発生している問題について
行ったこととその結果が足りていません。グラフに出来るくらい測定した上で、現象を言葉で明快に説明してください。

■tmpさんの考察について
シリアル処理が足を引っ張っている可能性は高いですね。
(単一スレッドでバッファリング前提の処理であるため)受信待ちしてる間にフレームを落とすという意味なので、一言で言えば9600bpsを変えて測定する必要があるということ。
ただし上の書いたことを全部やってからでないと、結果に信憑性がありません。

■最後に
約2日でてこれしか進まないとか遅すぎです。10倍くらいの速度を目標にやってください。

※またしばらく見れないかも

[tmp]

もとから別々に記録してるので、平行して記録するプログラムが書けないなら、映像記録とArudinoからのデータ記録をそれぞれ別のソフトにして、それぞれ記録開始時ＰＣの日時などを記録すれば、あとから動画とデータ合わせることが映像とシリアルでの遅延時間の差とかもあるけど、できるのでは？

[kakakatokyoeki]

ありがとうございます。それでコードを作り直すとうまくいきました

Answer 1

もとから別々に記録してるので、平行して記録するプログラムが書けないなら、映像記録とArudinoからのデータ記録をそれぞれ別のソフトにして、それぞれ記録開始時ＰＣの日時などを記録すれば、あとから動画とデータ合わせることが映像とシリアルでの遅延時間の差とかもあるけど、できるのでは？