[Unity] 深度画像の出力の方法 How to output depth image

Question

実現したいこと

点群データを集めるためのシミュレーション環境を作る目的で最近Unityを勉強し始めた者です．深度画像を手に入れたいと思っています

説明

現時点できていること
C#スクリプト(PassDepth.cs)でカメラからのRGB, depthの情報をそれぞれcolorBuffer, depthBufferに割り当ててcolorRenderTexture, depthRenderTextureの2つを作成しました．Quadを作成し，depthRenderTextureを用いたMaterialを用いて深度バッファが正しくdepthRenderTextureに読み込まれていることを確認しました．

解決したいこと
上記のように作成したdepthRenderTextureを深度画像としてPNGファイルで保存することを試みましたが，シーンビューのような画像は得られず真っ白な画像が保存されました．

おそらく深度がdepthRenderTextureに反映されていないと思ったがどのように改善すればよいのか分かりません．用いたソースコードとスクリーンショットを以下に載せます．解決の手助けをしてくだされば幸いです．

該当のソースコード

using System.Collections;
using System.Collections.Generic;
using System.IO;

using UnityEngine;

public class PassDepth : MonoBehaviour
{
    [SerializeField]
    public Camera camera;
    [SerializeField]
    public RenderTexture colorRenderTexture;
    [SerializeField]
    public RenderTexture depthRenderTexture;

    // Start is called before the first frame update
    void Start()
    {
        var colorBuffer = colorRenderTexture.colorBuffer;
        var depthBuffer = depthRenderTexture.depthBuffer;

        camera.SetTargetBuffers(colorBuffer, depthBuffer);

    }

    // Update is called once per frame
    void Update()
    {
        Graphics.SetRenderTarget(colorRenderTexture);
        camera.Render();
    }
}

QuadにアッタチするMaterialを作成する際に用いたShader

Shader "Unlit/MyUnlit"
{
    Properties
    {
        _MainTex ("Texture", 2D) = "white" {}
    }
    SubShader
    {
        Tags { "RenderType"="Opaque" }
        LOD 100

        Pass
        {
            CGPROGRAM
            #pragma vertex vert
            #pragma fragment frag

            #include "UnityCG.cginc"

            struct appdata
            {
                float4 vertex : POSITION;
                float2 uv : TEXCOORD0;
            };

            struct v2f
            {
                float2 uv : TEXCOORD0;
                float4 vertex : SV_POSITION;
            };

            sampler2D _MainTex;
            float4 _MainTex_ST;

            v2f vert (appdata v)
            {
                v2f o;
                o.vertex = UnityObjectToClipPos(v.vertex);
                o.uv = TRANSFORM_TEX(v.uv, _MainTex);

                return o;
            }

            fixed4 frag (v2f i) : SV_Target
            {
                // sample the texture
                fixed4 col = tex2D(_MainTex, i.uv);
                col.g = col.r;
                col.b = col.r;

                return col;
            }
            ENDCG
        }
    }
}

深度をPNG保存する際に試みたソースコード

Texture2D tex = new Texture2D(RenderTextureRef.width, RenderTextureRef.height, TextureFormat.RGB24, false);
RenderTexture.active = RenderTextureRef;
tex.ReadPixels(new Rect(0, 0, RenderTextureRef.width, RenderTextureRef.height), 0, 0);
tex.Apply();
//RenderTexture.active = null;

// Encode texture into PNG
byte[] bytes = tex.EncodeToPNG();
Object.Destroy(tex);

//Write to a file in the project folder
File.WriteAllBytes(Application.dataPath + "/../DepthRenderTexture.png", bytes);

私のUnity画面のスクリーンショット

保存された画像

長文となってしまい申し訳ありません．Unity初心者なのでささいなアドバイスでもありがたいです．よろしくお願いいたします．

Answer 1

「How to get pixel value of depth Texture from script ? - Questions & Answers - Unity Discussions」で言及されているように、デプスバッファをいったん別のカラーバッファ上にレンダリングしなおしてやる必要がありそうですね。
レンダリング用のシェーダーは、ご質問者さんのUnlit/MyUnlitをそのまま流用できそうです。下記のようなコードならいかがでしょうか。

        Texture2D tex = new Texture2D(RenderTextureRef.width, RenderTextureRef.height, TextureFormat.RGB24, false);

        // 現在のレンダーターゲットを覚えておく
        RenderTexture currentTarget = RenderTexture.active;

        // texと同サイズのRenderTextureを用意する
        RenderTexture depthTexture = RenderTexture.GetTemporary(RenderTextureRef.width, RenderTextureRef.height);

        // 深度をカラーバッファ上にレンダリングするためのマテリアルを作る
        Material blitMaterial = new Material(Shader.Find("Unlit/MyUnlit"));

        // RenderTextureRefをdepthTexture上にレンダリングする
        Graphics.Blit(RenderTextureRef, depthTexture, blitMaterial);

        // Blitによって現在のレンダーターゲットはdepthTextureに切り替わっているので、その内容をtexに読み取る
        tex.ReadPixels(new Rect(0, 0, RenderTextureRef.width, RenderTextureRef.height), 0, 0);
        tex.Apply();

        // レンダーターゲットを元に戻す
        RenderTexture.active = currentTarget;

        // depthTexture、blitMaterialはもう不要なので削除する
        RenderTexture.ReleaseTemporary(depthTexture);
        Object.Destroy(blitMaterial);

        // Encode texture into PNG
        byte[] bytes = tex.EncodeToPNG();
        Object.Destroy(tex);

        //Write to a file in the project folder
        File.WriteAllBytes(Application.dataPath + "/../DepthRenderTexture.png", bytes);

Comments

[taiki_inoue]

ありがとうございます！試してみたところ深度画像を入手することができました．本当にありがとうございます．