SurfaceShaderにおけるSkinnedMeshRendererとオブジェクト空間座標の関係について

Question

前提・実現したいこと

SkinnedMeshモデルにおける頂点毎のオブジェクト空間の座標を取得したい。

発生している問題・エラーメッセージ

オブジェクト空間の頂点座標を用いて何らかの処理を行っていた際、SkinnedMeshを使用したモデルはスケールを変更するとv.vertexの数値が変化することに気が付きました。スケールが変化するとオブジェクト空間のローカル座標は変化するのでしょうか?

最初はバッチング処理が関わっていると考えました。しかし、バッチング処理はSkinnedmeshには関係ありませんでした。
次に、MVP行列変換について考えました。しかし、SurfaceShaderにおける変換処理がどのように行われているかわからず、現在も試行中です。
もし、こちらの挙動がわかる方がいらっしゃれば、教えていただけると幸いです。

該当のソースコード

こちらのシェーダーのマテリアルがアタッチされたSkinnedMeshのモデルは、スケールを変化させると色が変化します。

私はスケールが変化しても、オブジェクト空間の値は変わらないはずなので、色は変わらないと考えていました。

Shader "Custom" {
    Properties {
    }
    SubShader {
        Tags { "RenderType"="Opaque" }
        LOD 200
 
        CGPROGRAM
        #pragma surface surf Lambert vertex:vert
 
        struct Input {
            float3 objPos;
        };
 
        void vert (inout appdata_full v, out Input o) {
            UNITY_INITIALIZE_OUTPUT(Input,o);
            o.objPos = v.vertex;
        }
 
        void surf (Input IN, inout SurfaceOutput o) {
            o.Albedo = IN.objPos;
            o.Alpha = 1;
        }
        ENDCG
    }
}

試したこと

スケールがすべて1の時（マテリアルが適用されているのは下半身部分)

スケールすべて7

Answer 1

MeshRendererの場合は、おっしゃるように「スケールが変化しても、オブジェクト空間の値は変わらないはずなので、色は変わらない」という認識で問題ないはずですが、なにぶんSkinnedMeshRendererですので、シェーダーに与えられる頂点データ（v.vertex、v.normal...）はすでにスキニング処理が加えられており、元々のメッシュの頂点データとは異なっているはずです。
このとき、Unityのスキニング処理の場合では、シーン上のオブジェクトの平行移動・回転・拡大縮小のうち拡大縮小だけはスキニング処理の方に組み込まれるようになっており（すみません、どこかのサイトでそんなことを読んだ覚えがあったのですが、情報ソースを見失ってしまいました）、シェーダーに与えられるモデル変換行列unity_ObjectToWorldには平行移動成分・回転成分しか含まれていなかったと思います（しかも、モデル座標がルートボーンを基準とする座標系に変換されてしまっていたはずです）。

しょうがないので、シェーダーに拡大縮小率のプロパティを追加し、それでv.vertexを逆スケーリングして...

Shader "Custom"
{
	Properties
	{
		[PerRendererData] _RootScale ("Root Bone Lossy Scale", Vector) = (1, 1, 1, 0) // プロパティを追加
	}
	SubShader
	{
		Tags { "RenderType" = "Opaque" }
		LOD 200
		
		CGPROGRAM
		
		#pragma surface surf Lambert vertex:vert
		
		struct Input
		{
			float3 objPos;
		};
		
		float4 _RootScale; // 変数を追加
		
		void vert(inout appdata_full v, out Input o)
		{
			UNITY_INITIALIZE_OUTPUT(Input, o);
			o.objPos = v.vertex / _RootScale.xyz; // スケールを打ち消す補正を加える
		}
		
		void surf(Input IN, inout SurfaceOutput o)
		{
			o.Albedo = IN.objPos;
			o.Alpha = 1;
		}
		
		ENDCG		
	}
}

オブジェクトにはシェーダーにルートボーンのlossyScaleを渡すようなスクリプトを付けてやるのでどうでしょうか?

using System.Collections.Generic;
using System.Linq;
using UnityEngine;

[ExecuteInEditMode]
public class ScaleTransferer : MonoBehaviour
{
    private Dictionary<SkinnedMeshRenderer, Transform> rootBones;
    private MaterialPropertyBlock props;
    private static readonly int RootScale = Shader.PropertyToID("_RootScale");

    private void OnEnable()
    {
        if (this.rootBones != null)
        {
            return;
        }

        // 各SkinnedMeshRendererと対応するルートボーンを見つけておく
        // SkinnedMeshRendererがルートボーンを持たない場合、メッシュのスキニングは
        // SkinnedMeshRendererがアタッチされているオブジェクトの座標系が基準となる
        this.rootBones = this.GetComponentsInChildren<SkinnedMeshRenderer>()
            .ToDictionary(
                r => r,
                r => r.rootBone ?? r.transform);
        this.props = new MaterialPropertyBlock();
    }

    private void Update()
    {
        // プロパティをセット
        // 実際にはわざわざUpdateで毎フレームセットしなくても、もしスケールが
        // 変化するタイミングが分かっているなら、その際に行えばいいでしょう
        foreach (var pair in this.rootBones)
        {
            var skinnedMeshRenderer = pair.Key;
            var rootBone = pair.Value;
            this.props.SetVector(RootScale, rootBone.lossyScale);
            skinnedMeshRenderer.SetPropertyBlock(this.props);
        }
    }
}

手前の二人はスケール(1, 1, 1)、奥の二人は(2, 2, 2)で、左の二人はスケール補正なし、右の二人はスケール補正ありです。
左奥のユニティちゃんはスケールが2倍なので、頂点座標も2倍となるため色が鮮やかめになっていますが、右奥はスケール補正が効いているので、右手前と同じ色合いになっています。

ご質問者さんが問題としているのがスケールだけでしたら、おそらくこれで拡大縮小に影響されない色が着くかと思います。
ですが、ルートボーン座標系がメッシュの座標系と異なる場合は、生のメッシュから想像される着色とは異なった着色になるでしょうし、手足を動かせばモデル座標が変わるので手足の色がころころ変わることもあるでしょう。
そうではなく、もしモデルの初期姿勢...バインドポーズを基準にした着色をしたい場合は、メッシュの追加の頂点属性としてバインドポーズ時の頂点座標を埋め込んでおく...といった手を使う必要がありそうです。

Comments

[Kuru_teo]

丁寧な説明本当にありがとうございます。こちらの方法でローカル座標を使用するとともに、やはりMVP行列あたりをもうちょっと勉強しなおそうと思います。

写真付きで非常にわかりやすい画像本当にありがとうございました！！！