unity カメラの映像を外部（API）に送りたい

Question

unity内カメラの映像を　pythonに送りたいんですがやり方がわかりせん
目的のコード　もしくはカメラの映像を取り扱う関数などを調べても出てきません
C#は初心者です　原理だけ説明とかはやめてください
APIのほうはできてます

条件として
スクリプトはカメラ以外　別のオブジェクトにつける
カメラは二つ以上ある（一つのスクリプトですべて制御）
送るデータは縦＊横＊３の行列で送る（python側でも映像としてつかえたらOK）
apiはML-Agents

質問の編集↓
試したこと　何をすればいいのかまったくわからなかった　なんて検索したらいいかもわからない

１フレームずつ分けて送りたい　pythonでいうところのlist（？）　C#にもあるかはわかりませんが
（Vectar3とかいうやつは３つの要素がある配列..なのかな？）
カメラのサイズが720480なら　720480*3（3は三色）の配列

Answer 1

ML-Agentsは素人なので、変なことを言っていたらすいません。
（とはいえ、ML-Agentsまで知っている方はあまりいないと思いますので、とりあえず回答します）

こちらのページの以下の箇所が参考になりそうです。

    public override void CollectObservations()
    {
        //車載カメラの映像を取得
        CollectVideo();
        var cols = targetTexture.GetPixels();
        foreach (var col in cols)
        {
            //車載カメラの映像を入力
            AddVectorObs(col.b);
        }
        //慣性を入力
        AddVectorObs(rb.angularVelocity.y);
    }

    void CollectVideo()
    {
        var tex = camera.targetTexture;
        targetTexture = new Texture2D(tex.width, tex.height, TextureFormat.ARGB32, false);
        // RenderTextureキャプチャ
        RenderTexture.active = camera.targetTexture;
        targetTexture.ReadPixels(new Rect(0, 0, tex.width, tex.height), 0, 0);
        targetTexture.Apply();
    }

なお、「カメラとRenderTextureの設定が必要（やり方はページに載ってます）」「RGBのBしか取得していない」という点に注意してください。

Answer 2

まず設計の話になります。

• ビデオキャプチャ方法

C# video capture 辺りのワードで調べたら出てきますが、どれも楽ではないかもしれません。

• 送信データ形式

画像フォーマット、生の画像を送るか、PNG等の圧縮形式で送るかなど。画像のビット数やRGBAの並びなど色々ありますが、場合によってはフォーマット変換処理が必要でしょう。

• Pythonへの受け渡し方法

色々な方法が考えられるためベストプラクティスは分かりませんが、過去の投稿で、memory-mapped fileでの受け渡しという提案があります。
c# - Pythonでメモリでのファイル受け渡し

• 受信データ復号方法

圧縮形式で送るなら、APIに渡す前に生の画像に複合する必要があるかもしれません。受け入れられる画像フォーマットによっては、フォーマット変換処理も必要になるでしょう。

ご質問内容だけでは少し漠然としすぎているので、これら個別でどのあたりで引っかかっているか質問したら、もう少し詳細な回答が得られると思います。

Comments

[Flan.]

知りたいのはスクリプト内で変数（　縦＊横＊３のlistにする方法）
です　
これ以上日本語だけで詳しく言うほどげんごりょくはないし単語もおもいうかばないですすいません

[退会済みユーザー]

多分、やりたい事に対してまだ致命的に知識が足りてない気がします。
どこまでが出来てて、何が出来てないかが把握できないとアドバイスのしようがないです。