RAWデータ(Y8フォーマット)をOpenCVで画像処理したい

Question

ラズパイ4に搭載した下記カメラを使って連写撮影し、取得した画像をOpenCVで画像処理したいと考えており、現状撮影＆ファイル保存まではできています(250fpsの撮影モードで、1秒間の撮影なら、210フレーム程度ファイルが保存されています）。カメラのマニュアルによると、Y8というviceo modeで保存(拡張子は.rawとなっています)されているようですが、Y8のフォーマットをOpenCVで画像処理するにはどのようにしたらよいかがわかりません。できれば、以前作成した、jpg画像をOpenCVで画像処理するプログラム（Python言語を使って、グレースケールに変換してから物体のサイズを計測するプログラム）を流用できればいいと考えていますが、今回のRAWデータ画像について同じことができますでしょうか？
YUVについては調べてみて少しわかりましたが、Y8については情報も少なくよくわかりませんでした。アドバイスいただけましたらありがたいです。よろしくお願いします。

使用カメラ：
Raspberry Pi インダストリアルカメラ OV9281 外部トリガー モノクロ グローバル シャッターセンサー
撮影条件：
画像解像度： 640x400
フレームレート：250fps(実際には、メモリなどの問題で210fps程度で取得されています）
取得画像のフレームサイズ：約1MB/フレーム
総フレーム数：最終的には250fpsX10sec=2500フレームを想定しており、フレーム数が多いため、なるべく高速に処理できる画像処理プログラムを組みたいと考えています

Answer 1

Y8フォーマットはY800フォーマットとも呼ばれているようです。中身はuint8のグレースケールのフォーマットだそうですが、cv2.cvtCOLOR_BGR2GRAYとは違う（動画のフォーマットの話であって、色スケールじゃない）と書かれています。

何でこんなフォーマットの話をしたかというと、 cv2.VideoWriter_fourcc(*"Y800")を使うためです。例えば、以下のようにすればカメラから直接読み出せると思います。もし既にファイルに保存されているのであれば、cv2.VideoCapture(の中身をファイルのパスにすれば行けるはずです。

が、「リアルタイムで」ということでしたらこんなに早いFPSでPythonで処理できるとは思えないです。…たとえば、cv2.imshow()をするだけでPythonでは20-60fpsくらいがせいぜいと思います。表示しないにしても、リアルタイムはしんどい（人もリアルタイムに250fpsじゃ捌けないですよね多分）と思います。

――というのは分かっておられると思います。既にされていると思いますが、

1. 一度Python以外の何かでファイルを書き出す。
2. 1コマずつPythonで捌く。

がいいと思います。読み出すには、以下のコードのcv2.VideoCapture(の引数にファイルのパスを指定してください。

import cv2

# 一番初めのカメラを指定
cap = cv2.VideoCapture(0)

# fourccを指定
fourcc = cv2.VideoWriter_fourcc(*"Y800")

# 解像度を設定
cap.set（cv2.CAP_PROP_FRAME_WIDTH, 640）
cap.set（cv2.CAP_PROP_FRAME_HEIGHT, 400）#480じゃないんですよね？

# FPSを指定
cap.set(cv2.CAP_PROP_FPS, 250)
ret, frame = cap.read()

while ret:
    ret, frame = cap.read()
    # (略）

Comments

[Uka]

>fourteenlengthさん
詳細に説明いただきありがとうございます。わたしの伝え方が悪く申し訳ありません、現状カメラで撮影＆ファイル保存（ファイル拡張子は.rawで、フレームごとに保存されているので静止画だと思います。1秒の撮影後に200枚程度保存されています）まではできているので、これらの画像ファイルをOpenCV(できればPython言語)を使って画像処理したいと考えています。cv2.VideoCaptureはmp4などの動画ファイルに対応するものと思っていますが、今回取得された.rawファイル（フレームごとの静止画）にも対応できるでしょうか？

[退会済みユーザー]

OpenCV経由ではなくて、Numpy経由で開くみたいです。
https://stackoverflow.com/questions/18682830/opencv-python-display-raw-image

[Uka]

ありがとうございます、教えていただいたリンクにあるプログラムから画像を表示させることができました。自分なりに調べてもなかなかでてこなかったので、大変助かりました。具体的にどういう処理をしているのか確認したいと思います。