ゲーム映像の配信とキャプチャの方法を教えてください。

Question

PCゲームのプレイ映像を、他のPCに転送して画像の認識処理を行いたいです。

連続した認識を行いたいので、ゲーム映像をローカルネットワーク内で動画としてストリーミング配信して、認識側のPCで任意のタイミングで画像をキャプチャし認識処理を実行したいと考えています。

このようなアイデアは、どのような技術を使えば実現できるでしょうか？

ゲーム配信側のPCはWindows10で、ソフトウェアとしては OBS(Open Broadcaster Software)やSteamLink, NVIDIA Game Stream が思い浮かびます。

また、認識側のPCは、Linux(Ubuntu) で Python3 を使いたいです。

動画配信について詳しい方、ご回答よろしくおねがいします。

Answer 1

ストリーミング配信の方法はハードウエアに依存する所もあるので
リアルタイムエンコードが問題ないソフトをえらべば良いかと思います。
ハードウェアエンコード式のおすすめゲームキャプチャーボードまとめ
※ゲームキャプチャーボード自体に配信に最適なソフトがついてきたりします。

配信自体はプログラムを作る必要はなくソフトの操作で完結できます。

もし動画をブラウザで見る場合はhtmlファイル等が必要ですが、サンプルがたくさんありますので問題ないでしょうvideo.js で m3u8 形式の動画ファイルをブラウザで再生するとか

あとストリーミング配信は動画ファイルが分割されて送信されるという点
m3u8とは何？
※中身はテキストなのでテキストエディタで開いて見れます

PythonでHLS動画形式のm3u8ファイルを操作するライブラリ m3u8 のコードリーディング
を参考に対象ファイルと再生時間を取得Python, OpenCVで動画ファイルからフレームを切り出して保存のような処理で
画像に保存する必要がありますね。

Comments

[tkw]

ご回答、ありがとうございます！

整理させていただくと、

動画配信：キャプチャデバイス付属ソフト
動画転送プロトコル：HLS（HTTP Live Streaming）
動画フォーマット：m3u8形式
キャプチャ処理：Python m3u8ライブラリ, OpenCV

という技術をご紹介いただいたと解釈いたしました。
m3u8に関しては全く知りませんでしたので、勉強になりました。

実は、HDMIキャプチャデバイスとして、
AVerMedia Live Gamer Portable
というデバイスを所有しています。

もうしばらく、情報を募集させていただこうと思います。

[kuma_kuma_]

AVerMedia Live Gamer Portableなら
RECentralが付いてきていると思います。
なぜメーカがこの様な事をするかというと
「AVerMedia Live Gamer Portable」の機能を正常また最大限につかえるソフトです
という意味合いです。(不具合があればメーカ問い合わせもできます)
なのでできるだけ配信は「RECentral」を使いましょう。

あと

・リアルタイム配信
録画が一定時間(30秒程度)したら分割してm3u8を作成
これを繰り返す。(m3u8も複数)

・アーガイブ配信m3u8
１つの動画を分割してm3u8は1つで配信

処理が変わりますので注意してください。