【Unity】深度を線形化して深度画像を保存する方法 - 続き

Question

実現したいこと

点群データを集めるためのシミュレーション環境を作る目的で最近Unityを勉強し始めた者です．今やりたいことは深度を線形化して深度画像として保存することです．

前提

こちらの質問（https://teratail.com/questions/4z92hds0whox04）
の回答で提示していただいたコードを試したところUnityのScene画面，Game画面で「Unlit/DistanceInMillimeters」シェーダを採用したdepthRenderTextureのMaterialをアタッチしたQuadは添付画像のようになりましたが，「PreserveRenderTexture.cs」で保存された深度画像を確認するとdepthRenderTextureの内容を保存できているようでした．

Unity画面

保存した深度画像

そこでopen3dで点群変換を試したところ，次のようになり点が平面を構成しており深度の線形化に成功したと思います．

open3dで作成したRGBD画像と点群

ただUnityの画面ではCube, カメラの位置関係は次の画像となっており，変換した点群は2つの平面が成す角度が90度になって欲しいです．そこで点群カメラの位置・姿勢・ニアクリップ面・ファークリップ面を変更せず，Cubeの位置を変更して深度画像保存・点群変換を試みました．

先ほどのシーンを横から見た場合

カメラからの距離が離れすぎると，オブジェクトがカメラのビュー空間内であっても，Unityで保存した深度画像をopen3dのo3d.io.read_imageで読み込んだときに画素値が全て0になり点群が作成されない場合がありました．

Cubeをカメラから遠ざけた場合に保存された深度画像とopen3dで作成したRGBD画像

また，Cubeの向きを変更して再度試したところ，やはりカメラから遠い点の深度が適切に読み込めず，求めている点群が作成されないこともありました．

Cubeの向きを変えた場合に保存された深度画像とopen3dで作成したRGBD画像・点群

点群変換の際の挙動についてはopen3dの問題の可能性が高いので，これから自分で原因を探してみます．

聞きたいこと

最後に自分のUnityと3DCGに関する理解を深めるために提案していただいたコード内で分からなかった点を質問させていただきます．

// このユニフォーム変数でカメラのニア・ファープレーンの逆数を受け取ります
float2 _ReciprocalNearFar;

_ReciprocalNearFarで検索したところヒットするものがなく，なぜこの変数がニア・ファープレーンの逆数を受け取るのか分からないので解説していただきたいです．

// カメラのZ軸に沿った、メートル単位の奥行きを求めます
float linearEyeDepth = 1.0 / ((_ReciprocalNearFar.y - _ReciprocalNearFar.x) * depth + _ReciprocalNearFar.x);

この式が意味することと導出過程を教えていただきたいです．

画像・文章ともに長くなり申し訳ありません．最後の2箇所教えていただければ幸いです．よろしくお願いします！

Answer 1

_ReciprocalNearFarについては、あれは私が勝手に名付けたものです。あの名前に必然性はありませんので、お好きな名前にしていただいてかまいません。
「Cg/HLSL でシェーダープロパティを参照する - Unity マニュアル」にありますように、通常はPropertiesブロックにプロパティを定義して、シェーダーコード本体にそれと対応するユニフォーム変数を宣言するスタイルになるかと思いますが（このようにするとマテリアルのインスペクター上に設定項目が現れ、そこから値を設定することもできるでしょう）、今回はPreserveRenderTextureの

        // ★マテリアルにcameraのニア・ファープレーンの逆数を与えます
        blitMaterial.SetVector("_ReciprocalNearFar", new Vector4(1.0f / camera.nearClipPlane, 1.0f / camera.farClipPlane));

の部分でマテリアルにデータを送り込む方式にしており、マテリアル自体にプロパティを持たせる必要はないだろうと思いまして、プロパティは定義せずにユニフォーム変数の宣言のみを行う形にしました。

linearEyeDepthの算出方法ですが、あの式はUnityが用意しているLinearEyeDepthの式を拝借したものです。組み込みのシェーダーはダウンロードアーカイブから入手でき、それに収録されているUnityCG.cgincによると

// Z buffer to linear depth
inline float LinearEyeDepth( float z )
{
    return 1.0 / (_ZBufferParams.z * z + _ZBufferParams.w);
}

となっていました。式の中で使われている_ZBufferParamsはUnity組み込みの変数で、「ビルトインのシェーダー変数 - Unity マニュアル」によると

Z バッファ値をリニア化するために使用します。 x は (1-far/near)、 y は (far/near)、 z は (x/far)、 w は (y/far) です。

となっているそうです。LinearEyeDepthを使わずにわざわざ自前で計算したのは、今回の深度画像出力のためのレンダリングは通常のシーン内オブジェクトのレンダリングとはタイミングが異なるためです。シーン内オブジェクト用のシェーダーであれば、レンダリングを行っているカメラのニア・ファープレーン情報をもとにUnityが自動的に_ZBufferParamsをセットしてくれるため気兼ねなくLinearEyeDepthを使えるはずですが、今回は深度画像撮影用のカメラのニア・ファープレーンを使って計算しないと結果が狂ってしまうためあのようにしました。

ついでに、点群変換時に結果が狂ってしまう件について私もちょっと調べてみましたので報告いたします。
まず実験材料として、Unity側では下図のようなカラー画像・深度画像を撮影しました。床の赤青チェッカーパターンは、各タイルが1m四方のサイズになるようにしています。

このときのカメラ設定はField Of Viewが60、Clipping PlanesのNearが0.512、Farが8.192です。
ご質問者さんのスクリーンショットを拝見しますに、点群が妙に引き延ばされて配置されてしまったようですが、私の予想ですとUnity上のカメラ設定（特にField Of View）とOpen3D上での点群生成時のカメラ内部パラメーターがマッチしていないんじゃないかと思います。
また、カメラから遠い部分が消えてしまう現象についてですが、open3d.geometry.RGBDImage.create_from_color_and_depthによるとどうやらデフォルトではdepth_truncが3.0に設定されており、3mより遠くのデータは捨てられてしまうようでした。もしあそこがデフォルトのままでしたら、もっと大きくしてやると遠くの点も出力されるかもしれません。

私の場合は下記のようなコードで点群を生成してみたのですが、

import open3d as o3d
import matplotlib.pyplot as plt
import math

color_raw = o3d.io.read_image("../../screenshot.png")
depth_raw = o3d.io.read_image("../../DepthRenderTexture_0125.png")

# 深度切り捨て距離を延長、ついでにグレースケール変換をオフ
rgbd_image = o3d.geometry.RGBDImage.create_from_color_and_depth(
    color_raw,
    depth_raw,
    depth_trunc=65.535,
    convert_rgb_to_intensity=False)
print(rgbd_image)

plt.subplot(1, 2, 1)
plt.title('Unitychan color image')
plt.imshow(rgbd_image.color)
plt.subplot(1, 2, 2)
plt.title('Unitychan depth image')
plt.imshow(rgbd_image.depth)
plt.show()

# Unity側のカメラの画角が60°で、撮影した画像の解像度が256ピクセル四方なら...
fieldOfView = 60.0
resolution = 256

# 画像解像度の半分(128ピクセル)を画角の半分(30°)のタンジェントで割れば、ピクセル単位の焦点距離が算出できるはず
halfExtent = resolution * 0.5
focalLength = halfExtent / math.tan(math.radians(fieldOfView * 0.5))

pcd = o3d.geometry.PointCloud.create_from_rgbd_image(
    rgbd_image,
    o3d.camera.PinholeCameraIntrinsic(
        resolution, resolution,
        focalLength, focalLength,
        halfExtent, halfExtent))
pcd.transform([[1, 0, 0, 0], [0, -1, 0, 0], [0, 0, -1, 0], [0, 0, 0, 1]])

o3d.visualization.draw_geometries([pcd])

下図のような結果が出力されました。見た感じではUnity上でオブジェクトを配置した時と比べて変に伸縮したりはしていない様子でした。

Comments

[taiki_inoue]

解説ありがとうございます！C#スクリプトでマテリアルにデータを送ることができると初めて分かりました．
また，open3dは触られてないと言っていたにも関わらず手を伸ばしていただきありがとうございます！ご指摘の通りdepth_truncをデフォルトで行っていました．私もカメラの内部パラメータをUnityと合わせる必要性までは考えましたが，まだ実装が不得手なもので色々と悩んでいたところです...

私の質問にここまで丁寧に答えてくださり感謝しております！