クラウドゲームやゲームのリモートプレイはどうやって毎フレームごとに画像を生成して送信しているのですが？

Question

クラウドゲームやゲームのストリーミングサービスはどうやって毎フレーム画像を生成して送信しているのですが？

何故こんな事を書くのかというとGLFWとVulkanを元にDLL経由で3DCGの画像を毎フレームごとにレンダリングして、そのレンダリングで出来た画像を下記のVulkanでスクリーンショットを生成するプログラムを元にしてコピーし、別のプログラムに送信するというプログラムを作っていたのです。

https://github.com/SaschaWillems/Vulkan/blob/master/examples/screenshot/screenshot.cpp

ところが毎フレームごとに画像を生成するプログラムが重すぎて使い物になりませんでした。

しかし、クラウドゲーム（ゲームストリーミングサービス）やPCからスマホにゲームの画像を送信して操作するなどといったリモートプレイのソフトウェアは30fpsから60fpsでそこまで遅延なく画像を送信できています。これは一体どういうことなのでしょうか？

何か毎フレームごとにスクリーンショットを生成するとはまた違った方法を使っているのでしょうか？それともサーバーやPCのパワーを使ってゴリ押ししているのでしょうか？

よろしくお願いします。

Answer 1

まず3D描写には膨大な計算が必要となります。
[5分で理解]GPUとは？CPUとの違いや性能と活用
PC内にもありますが処理が追いつかないので、
「グラフィックボード」という画像の処理に特化したボードを追加するのがふつうです。
(そのボードに搭載されているのがGPUです。)

PC内でゲームが実行され表示計算、モニタへの描写ならグラフィックボードだけで済みます。
ただキャプチャという他ゲーム機などの画像を録画配信しようとすると
意味合いが変わりグラフィックボードでは実力を完全に発揮できません。

その場合「キャプチャーボード」が必要となります。
【2020年最新】後悔しないキャプチャーボードの選び方 おすすめ紹介！！
キャプチャーボードはその名の通り「画面を捕獲する」→「画面を録画する」為のボードです。
これを使用することによって1フレーム毎の画像と音声をつなげて動画にします。
この処理を「エンコード」といいます。

この様に大半は専用ハードをつかって処理をおこないます。

Comments

[退会済みユーザー]

丁寧な回答、ありがとうございます。とすると、クラウドゲームは普通のGPUサーバーとは別に
キャチチャボード用のサーバーを用いていると考えるのが自然なのでしょうか。
リモートプレイについて調べたら配信する側のPCにも配信される側のスマホにも結構負担が
かかるようですね。

[ikadzuchi]

他ゲーム機などの画像を録画配信する話はしていないように思います。
クラウドゲームやゲームのストリーミングサービスとは全く無関係の話ですね。

[kuma_kuma_]

> クラウドゲームやゲームのストリーミングサービス
クラウドゲームで3D描写や複雑なエフェクトを行うゲームの場合
サーバ上の「グラフィックボード」を使い、結果を「キャプチャボード」で変換して送信
操作できる動画として情報を送ったりしますが？(PS4遠隔操作などがその技術になります)

[kuma_kuma_]

> クラウドゲームは普通のGPUサーバーとは別に
> キャチチャボード用のサーバーを用いていると考えるのが自然なのでしょうか。

これは同一サーバ上に設置されていて、サーバ自体が複数あるとお考えください。
スマホでリモートプレイする際は必要最低限の情報、（右に移動やメニューの表示）が送られサーバで処理されます。クラウドゲームだと良くあるでしょサーバ指定。これ一定人数同時に処理するのに限界があるのでこの様にサーバを分けています。(ただこのサーバ単位は1台ではなくからさらに内部的に分散されている場合もあります。この辺りは通信を効率的に分けるロードバランサーという機械が必要です)

「艦これ」みたいにブラウザだけで画像処理する場合なら良いのですが3Dだとどうしても通常のスマホやPCの処理能力(表現力)では限界がきます。その為サーバ側で演算し結果を動画(または静止画)で返すことにより通常のスマホやPCで表現できないところまで表現しようとしているわけです。
まあそれでもユーザ側に機器には結構負担をかけます。