編集履歴

回答編集履歴

ピクセル拡大行列の拡大量を修正

2019/10/17 13:38

投稿

スコア10807

test CHANGED Viewed

@@ -586,9 +586,9 @@
 			// マウスポインタの位置を狙う変換行列を作り...
-			var screenScale = new Vector2(Screen.width, Screen.height) * 0.5f;
+			var screenScale = new Vector2(Screen.width, Screen.height);
-			var pixelPosition = (Vector2)Input.mousePosition - screenScale;
+			var pixelPosition = ((Vector2)Input.mousePosition * 2.0f) - screenScale;
 			var pixelMatrix = Matrix4x4.TRS(

代替シェーダー案について追記

2019/10/17 13:38

投稿

Bongo

スコア10807

test CHANGED Viewed

@@ -22,113 +22,113 @@
 {
-    public Color32 color;
-    private GetColorHelper helper;
-    void Start()
-    {
-        // GetColorスクリプト自体をカメラにアタッチしてもいいなら、GetColorにUpdateと
-        // OnPostRenderを両方実装して連携させることができるかと思いますが、GetColorは
-        // 別のオブジェクトにアタッチしたい...といった事情がある場合は、GetColor本体と
-        // カメラ用コンポーネントの2つに担当を分けて連携させることになるかと思います
-        // 今回の例では補助コンポーネントとしてGetColorHelperを用意し、これをメインカメラに
-        // アタッチしてOnPostRender部分を担当させることにしました
-        helper = Camera.main.GetComponent<GetColorHelper>();
-        if (helper == null)
-        {
-            helper = Camera.main.gameObject.AddComponent<GetColorHelper>();
-        }
-    }
-    void Update()
-    {
-        if (Input.GetMouseButtonDown(0))
-        {
-            color = helper.Tex.GetPixel(0, 0);
-            Debug.Log(color.ToString());
-        }
-    }
-    [RequireComponent(typeof(Camera))]
-    private class GetColorHelper : MonoBehaviour
-    {
-        public Texture2D Tex { get; private set; }
-        void Awake()
-        {
-            Tex = new Texture2D(1, 1, TextureFormat.RGBA32, false);
-        }
-        void OnPostRender()
-        {
-            Vector2 pos = Input.mousePosition;
-            // 座標系がOpenGL方式かDirectX方式かによって上下が変わるのを考慮する
-            if (SystemInfo.graphicsUVStartsAtTop)
-            {
-                pos.y = Screen.height - 1 - pos.y;
-            }
-            // マウスポインタが画面外にあるとReadPixelsに失敗するため、座標を範囲内におさめる
-            float x = Mathf.Clamp(pos.x, 0.0f, Screen.width - 1);
-            float y = Mathf.Clamp(pos.y, 0.0f, Screen.height - 1);
-            Tex.ReadPixels(new Rect(x, y, 1, 1), 0, 0);
-        }
-    }
+	public Color32 color;
+	private GetColorHelper helper;
+	void Start()
+	{
+		// GetColorスクリプト自体をカメラにアタッチしてもいいなら、GetColorにUpdateと
+		// OnPostRenderを両方実装して連携させることができるかと思いますが、GetColorは
+		// 別のオブジェクトにアタッチしたい...といった事情がある場合は、GetColor本体と
+		// カメラ用コンポーネントの2つに担当を分けて連携させることになるかと思います
+		// 今回の例では補助コンポーネントとしてGetColorHelperを用意し、これをメインカメラに
+		// アタッチしてOnPostRender部分を担当させることにしました
+		helper = Camera.main.GetComponent<GetColorHelper>();
+		if (helper == null)
+		{
+			helper = Camera.main.gameObject.AddComponent<GetColorHelper>();
+		}
+	}
+	void Update()
+	{
+		if (Input.GetMouseButtonDown(0))
+		{
+			color = helper.Tex.GetPixel(0, 0);
+			Debug.Log(color.ToString());
+		}
+	}
+	[RequireComponent(typeof(Camera))]
+	private class GetColorHelper : MonoBehaviour
+	{
+		public Texture2D Tex { get; private set; }
+		void Awake()
+		{
+			Tex = new Texture2D(1, 1, TextureFormat.RGBA32, false);
+		}
+		void OnPostRender()
+		{
+			Vector2 pos = Input.mousePosition;
+			// 座標系がOpenGL方式かDirectX方式かによって上下が変わるのを考慮する
+			if (SystemInfo.graphicsUVStartsAtTop)
+			{
+				pos.y = Screen.height - 1 - pos.y;
+			}
+			// マウスポインタが画面外にあるとReadPixelsに失敗するため、座標を範囲内におさめる
+			float x = Mathf.Clamp(pos.x, 0.0f, Screen.width - 1);
+			float y = Mathf.Clamp(pos.y, 0.0f, Screen.height - 1);
+			Tex.ReadPixels(new Rect(x, y, 1, 1), 0, 0);
+		}
+	}
 }
@@ -160,107 +160,107 @@
 {
-    public class GetColor : MonoBehaviour
-    {
-        public Color32 color;
-        private GetColorHelper helper;
-        void Start()
-        {
-            helper = Camera.main.GetComponent<GetColorHelper>();
-            if (helper == null)
-            {
-                helper = Camera.main.gameObject.AddComponent<GetColorHelper>();
-            }
-        }
-        void Update()
-        {
-            if (Input.GetMouseButtonDown(0))
-            {
-                color = helper.Tex.GetPixel(0, 0);
-                Debug.Log(color.ToString());
-            }
-        }
-        [RequireComponent(typeof(Camera))]
-        private class GetColorHelper : MonoBehaviour
-        {
-            public Texture2D Tex { get; private set; }
-            void Awake()
-            {
-                Tex = new Texture2D(1, 1, TextureFormat.RGBA32, false);
-            }
-            void OnPostRender()
-            {
-                Vector2 pos = Input.mousePosition;
-                // 座標系がOpenGL方式かDirectX方式かによって上下が変わるのを考慮する
-                // Metalの場合、例外的に反転は行わないようにした
-                if (SystemInfo.graphicsUVStartsAtTop && SystemInfo.graphicsDeviceType != GraphicsDeviceType.Metal)
-                {
-                    pos.y = Screen.height - 1 - pos.y;
-                }
-                float x = Mathf.Clamp(pos.x, 0.0f, Screen.width - 1);
-                float y = Mathf.Clamp(pos.y, 0.0f, Screen.height - 1);
-                Tex.ReadPixels(new Rect(x, y, 1, 1), 0, 0);
-            }
-        }
-    }
+	public class GetColor : MonoBehaviour
+	{
+		public Color32 color;
+		private GetColorHelper helper;
+		void Start()
+		{
+			helper = Camera.main.GetComponent<GetColorHelper>();
+			if (helper == null)
+			{
+				helper = Camera.main.gameObject.AddComponent<GetColorHelper>();
+			}
+		}
+		void Update()
+		{
+			if (Input.GetMouseButtonDown(0))
+			{
+				color = helper.Tex.GetPixel(0, 0);
+				Debug.Log(color.ToString());
+			}
+		}
+		[RequireComponent(typeof(Camera))]
+		private class GetColorHelper : MonoBehaviour
+		{
+			public Texture2D Tex { get; private set; }
+			void Awake()
+			{
+				Tex = new Texture2D(1, 1, TextureFormat.RGBA32, false);
+			}
+			void OnPostRender()
+			{
+				Vector2 pos = Input.mousePosition;
+				// 座標系がOpenGL方式かDirectX方式かによって上下が変わるのを考慮する
+				// Metalの場合、例外的に反転は行わないようにした
+				if (SystemInfo.graphicsUVStartsAtTop && SystemInfo.graphicsDeviceType != GraphicsDeviceType.Metal)
+				{
+					pos.y = Screen.height - 1 - pos.y;
+				}
+				float x = Mathf.Clamp(pos.x, 0.0f, Screen.width - 1);
+				float y = Mathf.Clamp(pos.y, 0.0f, Screen.height - 1);
+				Tex.ReadPixels(new Rect(x, y, 1, 1), 0, 0);
+			}
+		}
+	}
 }
@@ -288,108 +288,376 @@
 {
-    public class GetColor : MonoBehaviour
-    {
-        public Color32 color;
-        private GetColorHelper helper;
-        void Start()
-        {
-            helper = Camera.main.GetComponent<GetColorHelper>();
-            if (helper == null)
-            {
-                helper = Camera.main.gameObject.AddComponent<GetColorHelper>();
-            }
-        }
-        void Update()
-        {
-            if (Input.GetMouseButtonDown(0))
-            {
-                color = helper.Tex.GetPixel(0, 0);
-                Debug.Log(color.ToString());
-            }
-        }
-        [RequireComponent(typeof(Camera))]
-        private class GetColorHelper : MonoBehaviour
-        {
-            public Texture2D Tex { get; private set; }
-            void Awake()
-            {
-                Tex = new Texture2D(1, 1, TextureFormat.RGBA32, false);
-            }
-            IEnumerator Start()
-            {
-                var waitForEndOfFrame = new WaitForEndOfFrame();
-                while (true)
-                {
-                    yield return waitForEndOfFrame;
-                    Vector2 pos = Input.mousePosition;
-                    float x = Mathf.Clamp(pos.x, 0.0f, Screen.width - 1);
-                    float y = Mathf.Clamp(pos.y, 0.0f, Screen.height - 1);
-                    Tex.ReadPixels(new Rect(x, y, 1, 1), 0, 0);
-                }
-            }
-        }
-    }
+	public class GetColor : MonoBehaviour
+	{
+		public Color32 color;
+		private GetColorHelper helper;
+		void Start()
+		{
+			helper = Camera.main.GetComponent<GetColorHelper>();
+			if (helper == null)
+			{
+				helper = Camera.main.gameObject.AddComponent<GetColorHelper>();
+			}
+		}
+		void Update()
+		{
+			if (Input.GetMouseButtonDown(0))
+			{
+				color = helper.Tex.GetPixel(0, 0);
+				Debug.Log(color.ToString());
+			}
+		}
+		[RequireComponent(typeof(Camera))]
+		private class GetColorHelper : MonoBehaviour
+		{
+			public Texture2D Tex { get; private set; }
+			void Awake()
+			{
+				Tex = new Texture2D(1, 1, TextureFormat.RGBA32, false);
+			}
+			IEnumerator Start()
+			{
+				var waitForEndOfFrame = new WaitForEndOfFrame();
+				while (true)
+				{
+					yield return waitForEndOfFrame;
+					Vector2 pos = Input.mousePosition;
+					float x = Mathf.Clamp(pos.x, 0.0f, Screen.width - 1);
+					float y = Mathf.Clamp(pos.y, 0.0f, Screen.height - 1);
+					Tex.ReadPixels(new Rect(x, y, 1, 1), 0, 0);
+				}
+			}
+		}
+	}
 }
 ```
+**追記**
+まず、下記のようなメインテクスチャ・メインカラーで塗るだけのシンプルなUnlitシェーダーを用意しました。
+```ShaderLab
+Shader "Unlit/UnlitAlbedo"
+{
+	Properties
+	{
+		_MainTex ("Texture", 2D) = "white" {}
+		_Color ("Color", Color) = (1, 1, 1, 1)
+	}
+	SubShader
+	{
+		Tags { "RenderType"="Opaque" }
+		LOD 100
+		Pass
+		{
+			CGPROGRAM
+			#pragma vertex vert
+			#pragma fragment frag
+			#include "UnityCG.cginc"
+			struct appdata
+			{
+				float4 vertex : POSITION;
+				float2 uv : TEXCOORD0;
+			};
+			struct v2f
+			{
+				float2 uv : TEXCOORD0;
+				float4 vertex : SV_POSITION;
+			};
+			sampler2D _MainTex;
+			float4 _MainTex_ST;
+			fixed4 _Color;
+			v2f vert(appdata v)
+			{
+				v2f o;
+				o.vertex = UnityObjectToClipPos(v.vertex);
+				o.uv = TRANSFORM_TEX(v.uv, _MainTex);
+				return o;
+			}
+			fixed4 frag(v2f i) : SV_Target
+			{
+				return tex2D(_MainTex, i.uv) * _Color;
+			}
+			ENDCG
+		}
+	}
+}
+```
+通常のレンダリングの場合下図のように見えるシーンを...
+![図1](57bdbdee30fc709c88702c89a1348f1b.png)
+この代替シェーダーでシーンをレンダリングした場合、下図のように環境の映り込みや陰影がない単純な色塗り状態の映像が得られます。実際にはこの映像を画面上に表示するわけではなく、RenderTexture上に描画して色取り元とすることになりますね。
+![図2](fbf316d31b6a93341aad43e2abc77bcb.png)
+また、この追加レンダリングはわざわざ画面全体について行う必要はなく、色を取りたい地点の1ピクセル分だけの大きさがあれば十分なはずです。そこで、このレンダリングの時だけ一時的に投影行列に手を加えて注目点だけを拡大し、それを1×1サイズのRenderTextureに描画することにしました。描画面積が大幅に節約でき、レンダリングコストを低減できると思われます。
+色取りスクリプトは下記のようにしてみました。補助スクリプトは不要になったため廃止しています。
+```C#
+using System.Collections;
+using UnityEngine;
+public class AlbedoColorPicker : MonoBehaviour
+{
+	public Color32 color;
+	public Renderer targetRenderer;
+	private Camera mainCamera;
+	private Shader alternativeShader;
+	private Texture2D pixelTexture;
+	private void Start()
+	{
+		this.mainCamera = Camera.main;
+		this.alternativeShader = Shader.Find("Unlit/UnlitAlbedo");
+		this.pixelTexture = new Texture2D(1, 1, TextureFormat.RGBA32, false);
+	}
+	private void Update()
+	{
+		if (Input.GetMouseButtonDown(0))
+		{
+			// マウスポインタの位置を狙う変換行列を作り...
+			var screenScale = new Vector2(Screen.width, Screen.height) * 0.5f;
+			var pixelPosition = (Vector2)Input.mousePosition - screenScale;
+			var pixelMatrix = Matrix4x4.TRS(
+				-pixelPosition,
+				Quaternion.identity,
+				new Vector3(screenScale.x, screenScale.y, 1.0f));
+			// projectionMatrixの後段に追加の変換を加え、alternativeShaderを使ってレンダリングする
+			var targetTexture = this.mainCamera.targetTexture;
+			var projectionMatrix = this.mainCamera.projectionMatrix;
+			var renderTexture = RenderTexture.GetTemporary(1, 1);
+			this.mainCamera.targetTexture = renderTexture;
+			this.mainCamera.projectionMatrix = pixelMatrix * projectionMatrix;
+			this.mainCamera.RenderWithShader(this.alternativeShader, null);
+			this.mainCamera.targetTexture = targetTexture;
+			this.mainCamera.ResetProjectionMatrix();
+			// renderTextureの内容をpixelTextureに読み取り、さらにpixelTextureから色を取り出す
+			var activeTexture = RenderTexture.active;
+			RenderTexture.active = renderTexture;
+			this.pixelTexture.ReadPixels(new Rect(0, 0, 1, 1), 0, 0);
+			RenderTexture.active = activeTexture;
+			RenderTexture.ReleaseTemporary(renderTexture);
+			this.color = this.pixelTexture.GetPixel(0, 0);
+			// 色設定対象がセットされていれば、それに取得された色をセットする
+			if (this.targetRenderer != null)
+			{
+				this.targetRenderer.material.color = this.color;
+			}
+		}
+	}
+}
+```
+動かしてみると下図のようになりました。取った色に陰影付けの影響が及んでいないことをアピールするため、色の適用先はPlaneではなく画面右側にあるSphereにしています。
+![図3](62a27dba4a46a6c8e744c1e765c545fc.gif)

修正案を追記

2019/09/03 14:57

投稿

Bongo

スコア10807

test CHANGED Viewed

@@ -133,3 +133,263 @@
 }
 ```
+**追記**
+ご指摘ありがとうございます。当初のコードはWindows版でしか試していなかったのですが、確かにMac版でMetalを使用している場合は座標の上下が逆転してしまいますね...
+その場しのぎ的ですみませんが、下記のようにMetalの場合に座標の上下反転を行わせないようにしてはどうでしょうか。
+もし他にうまくいかない条件が見つかりましたらコメントください（とはいえMacとWindows以外にすぐ試せる環境を持っておらず、お力になれないかもしれませんが...）。
+```C#
+using UnityEngine;
+using UnityEngine.Rendering;
+namespace GetPixelColor
+{
+    public class GetColor : MonoBehaviour
+    {
+        public Color32 color;
+        private GetColorHelper helper;
+        void Start()
+        {
+            helper = Camera.main.GetComponent<GetColorHelper>();
+            if (helper == null)
+            {
+                helper = Camera.main.gameObject.AddComponent<GetColorHelper>();
+            }
+        }
+        void Update()
+        {
+            if (Input.GetMouseButtonDown(0))
+            {
+                color = helper.Tex.GetPixel(0, 0);
+                Debug.Log(color.ToString());
+            }
+        }
+        [RequireComponent(typeof(Camera))]
+        private class GetColorHelper : MonoBehaviour
+        {
+            public Texture2D Tex { get; private set; }
+            void Awake()
+            {
+                Tex = new Texture2D(1, 1, TextureFormat.RGBA32, false);
+            }
+            void OnPostRender()
+            {
+                Vector2 pos = Input.mousePosition;
+                // 座標系がOpenGL方式かDirectX方式かによって上下が変わるのを考慮する
+                // Metalの場合、例外的に反転は行わないようにした
+                if (SystemInfo.graphicsUVStartsAtTop && SystemInfo.graphicsDeviceType != GraphicsDeviceType.Metal)
+                {
+                    pos.y = Screen.height - 1 - pos.y;
+                }
+                float x = Mathf.Clamp(pos.x, 0.0f, Screen.width - 1);
+                float y = Mathf.Clamp(pos.y, 0.0f, Screen.height - 1);
+                Tex.ReadPixels(new Rect(x, y, 1, 1), 0, 0);
+            }
+        }
+    }
+}
+```
+また、Planeに貼り付けた色が取れないという現象は私の試した限りでは再現させられなかったのですが（Planeであっても他の3Dオブジェクトと違いはないはずなので、Cubeで成功したのならPlaneでもいける気がするのですが...）、ImageなどUIオブジェクトの色を取れないという現象は確認できました。
+おそらくCanvasの「Render Mode」が「Screen Space - Overlay」になっているんじゃないでしょうか?どうやらこのモードの場合、UIの描画は`OnPostRender`よりも後のタイミングになるため失敗したものと思われます。もしRender Modeを変えてもかまわないのなら、これを「Screen Space - Camera」や「World Space」 にすれば`OnPostRender`より先にUI描画が完了し、色を取ってくることができるでしょう。
+あるいは、下記のように`WaitForEndOfFrame`のタイミングならScreen Space - Overlayでもいけそうな感じでした。どうしてもScreen Space - Overlayでないと困るようでしたらこちらも試してみてもいいかと思います。
+```C#
+using System.Collections;
+using UnityEngine;
+namespace GetPixelColor
+{
+    public class GetColor : MonoBehaviour
+    {
+        public Color32 color;
+        private GetColorHelper helper;
+        void Start()
+        {
+            helper = Camera.main.GetComponent<GetColorHelper>();
+            if (helper == null)
+            {
+                helper = Camera.main.gameObject.AddComponent<GetColorHelper>();
+            }
+        }
+        void Update()
+        {
+            if (Input.GetMouseButtonDown(0))
+            {
+                color = helper.Tex.GetPixel(0, 0);
+                Debug.Log(color.ToString());
+            }
+        }
+        [RequireComponent(typeof(Camera))]
+        private class GetColorHelper : MonoBehaviour
+        {
+            public Texture2D Tex { get; private set; }
+            void Awake()
+            {
+                Tex = new Texture2D(1, 1, TextureFormat.RGBA32, false);
+            }
+            IEnumerator Start()
+            {
+                var waitForEndOfFrame = new WaitForEndOfFrame();
+                while (true)
+                {
+                    yield return waitForEndOfFrame;
+                    Vector2 pos = Input.mousePosition;
+                    float x = Mathf.Clamp(pos.x, 0.0f, Screen.width - 1);
+                    float y = Mathf.Clamp(pos.y, 0.0f, Screen.height - 1);
+                    Tex.ReadPixels(new Rect(x, y, 1, 1), 0, 0);
+                }
+            }
+        }
+    }
+}
+```