シェーダーファイルをShader.Findで読み込むとビルド後動作しない

Question

private Material equirectangularMaterial;
this.equirectangularMaterial = new Material(Shader.Find(@"Hidden\CubeToEquirectangular"));

Shader.Findという関数を使ってシェーダーファイルを読み込もうとしています。ビルド前は上記のように書いてうまくいっているのですがビルド後に実行するとNullReferenceExceptionになり実行できません。
調べてみるとShader.Findはビルド後はこういう動作をするので、Inspecterでhttps://qiita.com/shirai/items/3d2e3ff9e0d9a55a2e23のようにすると解決するらしいのですが、なんとかスクリプト上でビルド後もシェーダーファイルを読み込むことはできないのでしょうか？ビルドされたものに処理を差し込みたいのでスクリプト上で解決したいのです。

Unity5.6.2f1です。よろしくお願いします。

追記
処理が差し込めないのはStereoEquirectangularTextureUpdaterだけなので、StereoCubemapUpdaterで作ったCubemapLeft,CubemapRightをファイルかなにかに出力して、後でそのファイルをシェーダーファイルを読み込める環境で処理すればできないでしょうか。
それで質問なのですが、StereoCubemapUpdaterでつくったCubemapLeft,CubemapRightをStereoEquirectangularTextureUpdaterで再度利用するためにはどんな形式で出力して保存すればいいのでしょうか？

    void savePng(String filename, int count, RenderTexture saveRT)
    {

        Texture2D tex = new Texture2D(saveRT.width, saveRT.height, TextureFormat.RGB24, false);
        RenderTexture.active = saveRT;
        tex.ReadPixels(new Rect(0, 0, saveRT.width, saveRT.height), 0, 0);
        tex.Apply();

        // Encode texture into PNG
        byte[] bytes = tex.EncodeToPNG();
        UnityEngine.Object.Destroy(tex);

        var name = @"C:\Users\Username\Desktop\unity\Captures\" + filename + count.ToString("0") + ".png";
        //Write to a file in the project folder
        File.WriteAllBytes(name, bytes);

    }

とりあえず上記の関数でCubemapLeftをpngにしてみたのですが、下のような画像になってしまってキューブマップではないと思います。

本当に度々申し訳ありません。わかりにくい文章で恐縮ですが時間があるときでよいので回答よろしくお願いします。

追記

void Update()
{
    Texture2D tex;
    private Color[] CubeMapColors;
    string path = @"C:\Users\Username\Desktop\unity\Captures\";
    CubemapFace[] cubemapFaces =
    {
        CubemapFace.PositiveX, CubemapFace.NegativeX,
        CubemapFace.PositiveY, CubemapFace.NegativeY,
        CubemapFace.PositiveZ, CubemapFace.NegativeZ
    };
    foreach (CubemapFace face in cubemapFaces)
    {
        name = path + @"Right\" + "frame" + framecount.ToString("0") + face.ToString() + ".png";
        tex = ReadTexture(name, 1024, 1024);
        CubeMapColors = tex.GetPixels();
        cubemapRight.SetPixels(CubeMapColors, face);
        cubemapRight.Apply();
    }
}
byte[] ReadPngFile(string path)
{
     FileStream fileStream = new FileStream(path, FileMode.Open, FileAccess.Read);
     BinaryReader bin = new BinaryReader(fileStream);
     byte[] values = bin.ReadBytes((int)bin.BaseStream.Length);

     bin.Close();

     return values;
}

Texture2D ReadTexture(string path, int width, int height)
{
     byte[] readBinary = ReadPngFile(path);

     Texture2D texture = new Texture2D(width, height,TextureFormat.RGB24, false);
     texture.LoadImage(readBinary);

     return texture;
}

すみませんが最後にもう一つだけ質問してよろしいでしょうか。
Cubemap.SetPixelsを使って６枚の画像をRenderTextureにセットするスクリプトを書いてみたのですが、RenderTextureにうまくセットできていないようです。ファイルから画像を読み込むことはできているようです。Cubemap.SetPixelsの使い方かヒントを教えていだだけないでしょうか。
質問ばかりで申し訳ありませんが時間のあるときでいいのでよろしくお願いします。

Answer 1

では、インスペクター上で参照をセットしておくことは可能でしょうか?
スクリプトに[SerializeField] private Shader equirectangularShader;のようにフィールドを追加して、インスペクター上の欄にプロジェクトビューからシェーダーファイルをドラッグ&ドロップし、マテリアル作成部分ではthis.equirectangularMaterial = new Material(this.equirectangularShader);という風にするのではどうでしょう。

追記
すみませんが、独自のシェーダーを持ち込む方法はわかりませんでした...
アプローチを変えて、「Unity5.6.2f1でメインカメラの両目の映像をレンダリングしたい」で申し上げた正距円筒図法展開をビルトインシェーダーのみで行えないか検討してみました。
デフォルトの状態ですとAlways Included ShadersにHidden/CubeCopyが入っています。もしそのゲームでそこがいじられていなければ、それを使うことができるんじゃないかともくろみました。

CubeCopyは単純に入力されたUV座標からキューブマップをサンプリングして出力するだけのシェーダーですので、円筒図法展開に利用するには入力するメッシュをちょっと工夫してやることになるでしょう。
そこで頂点座標は四角い展開図の形、UV座標は3次元の球体の形のメッシュを作り、それをDrawMeshNowで描画することにしました。
前回のStereoEquirectangularTextureUpdaterをベースにしており相変わらずSerializeFieldやらを使っていますので、ご質問者さんの用途には直接利用できないかもしれません。使えそうな部分だけご参考にしていただきたく思います。

using System;
using System.Collections.Generic;
using UnityEngine;

public class StereoEquirectangularTextureUpdaterBuiltinShader : MonoBehaviour
{
	public enum Arrangement
	{
		TopAndBottom,
		SideBySide
	}

	public enum FieldOfView
	{
		Full,
		Half
	}

	[SerializeField] private StereoCubemapUpdater stereoCubemapUpdater;
	[SerializeField] private RenderTexture equirectangularTexture;
	[SerializeField] private bool useLocalDirection;
	[SerializeField] private Arrangement arrangement;
	[SerializeField] private FieldOfView fieldOfView;
	[SerializeField] private int sphereNetDivision = 16;

	private RenderTexture cubemapLeft;
	private RenderTexture cubemapRight;
	private Material equirectangularMaterial;
	private Mesh sphereNet;
	private List<Vector3> sphereNetUvs;
	private List<Vector3> rotatedSphereNetUvs;
	private Mesh hemisphereNet;
	private List<Vector3> hemisphereNetUvs;
	private List<Vector3> rotatedHemisphereNetUvs;

	// 球面の展開図を表すメッシュを生成するメソッド
	// divisionを大きくするほど正確に展開できるはずだが、その分頂点数が増えるので
	// ローカル展開の場合のUV更新にかかるコストが大きくなると思われる
	private Mesh CreateSphereNet(int division, bool asHemisphere, out List<Vector3> uvs)
	{
		var deltaAngle = Mathf.PI / division;
		var divisionX = (asHemisphere ? 1 : 2) * division;
		var divisionY = division;
		var divisionXPlus1 = divisionX + 1;
		var divisionYPlus1 = divisionY + 1;
		var deltaX = 2.0f / divisionX;
		var deltaY = 2.0f / divisionY;
		var x = new float[divisionXPlus1];
		var phi0 = -(asHemisphere ? 0.5f : 1.0f) * Mathf.PI;
		var sinPhi = new float[x.Length];
		var cosPhi = new float[x.Length];
		var y = new float[divisionYPlus1];
		var theta0 = -0.5f * Mathf.PI;
		var sinTheta = new float[y.Length];
		var cosTheta = new float[y.Length];
		for (var i = 0; i <= divisionX; i++)
		{
			var angle = phi0 + (deltaAngle * i);
			sinPhi[i] = Mathf.Sin(angle);
			cosPhi[i] = Mathf.Cos(angle);
			x[i] = (deltaX * i) - 1.0f;
		}

		for (var i = 0; i <= divisionY; i++)
		{
			var angle = theta0 + (deltaAngle * i);
			sinTheta[i] = Mathf.Sin(angle);
			cosTheta[i] = Mathf.Cos(angle);
			y[i] = (deltaY * i) - 1.0f;
		}

		var vertices = new Vector3[divisionXPlus1 * divisionYPlus1];
		uvs = new List<Vector3>(vertices.Length);
		for (var j = 0; j <= divisionY; j++)
		{
			var o = j * divisionXPlus1;
			for (var i = 0; i <= divisionX; i++)
			{
				vertices[o + i] = new Vector3(x[i], y[j], 0.0f);
				uvs.Add(new Vector3(sinPhi[i] * cosTheta[j], sinTheta[j], cosPhi[i] * cosTheta[j]));
			}
		}

		var triangles = new int[divisionX * divisionY * 6];
		for (var j = 0; j < divisionY; j++)
		{
			var o = j * divisionX;
			for (var i = 0; i < divisionX; i++)
			{
				var k = (o + i) * 6;
				triangles[k] = (divisionXPlus1 * j) + i;
				triangles[k + 1] = (divisionXPlus1 * (j + 1)) + i;
				triangles[k + 2] = triangles[k] + 1;
				triangles[k + 3] = triangles[k + 1] + 1;
				triangles[k + 4] = triangles[k + 2];
				triangles[k + 5] = triangles[k + 1];
			}
		}

		var net = new Mesh();
		net.vertices = vertices;
		net.SetUVs(0, uvs);
		net.triangles = triangles;
		net.MarkDynamic();
		return net;
	}

	private void Start()
	{
		this.cubemapLeft = this.stereoCubemapUpdater.CubemapLeft;
		this.cubemapRight = this.stereoCubemapUpdater.CubemapRight;
		this.equirectangularMaterial = new Material(Shader.Find("Hidden/CubeCopy"));
		this.sphereNet = this.CreateSphereNet(this.sphereNetDivision, false, out this.sphereNetUvs);
		this.hemisphereNet = this.CreateSphereNet(this.sphereNetDivision, true, out this.hemisphereNetUvs);
		this.rotatedSphereNetUvs = new List<Vector3>(this.sphereNetUvs);
		this.rotatedHemisphereNetUvs = new List<Vector3>(this.hemisphereNetUvs);
	}

	private void LateUpdate()
	{
		// 描画先座標の移動・伸縮はMatrix4x4で表現する
		Matrix4x4 leftVertexTransform;
		Matrix4x4 rightVertexTransform;
		switch (this.arrangement)
		{
			case Arrangement.TopAndBottom:
				leftVertexTransform = Matrix4x4.TRS(
					new Vector3(0.0f, 0.5f, 0.0f),
					Quaternion.identity,
					new Vector3(1.0f, 0.5f, 1.0f));
				rightVertexTransform = Matrix4x4.TRS(
					new Vector3(0.0f, -0.5f, 0.0f),
					Quaternion.identity,
					new Vector3(1.0f, 0.5f, 1.0f));
				break;
			case Arrangement.SideBySide:
				leftVertexTransform = Matrix4x4.TRS(
					new Vector3(-0.5f, 0.0f, 0.0f),
					Quaternion.identity,
					new Vector3(0.5f, 1.0f, 1.0f));
				rightVertexTransform = Matrix4x4.TRS(
					new Vector3(0.5f, 0.0f, 0.0f),
					Quaternion.identity,
					new Vector3(0.5f, 1.0f, 1.0f));
				break;
			default:
				throw new ArgumentOutOfRangeException();
		}

		// ローカル展開の場合はUV座標を回転しメッシュに再設定する
		var rotation = this.stereoCubemapUpdater.transform.rotation;
		switch (this.fieldOfView)
		{
			case FieldOfView.Full:
				if (this.useLocalDirection)
				{
					for (var i = 0; i < this.sphereNetUvs.Count; i++)
					{
						this.rotatedSphereNetUvs[i] = rotation * this.sphereNetUvs[i];
					}

					this.sphereNet.SetUVs(0, this.rotatedSphereNetUvs);
				}
				else
				{
					this.sphereNet.SetUVs(0, this.sphereNetUvs);
				}

				this.sphereNet.RecalculateBounds();
				break;
			case FieldOfView.Half:
				if (this.useLocalDirection)
				{
					for (var i = 0; i < this.hemisphereNetUvs.Count; i++)
					{
						this.rotatedHemisphereNetUvs[i] = rotation * this.hemisphereNetUvs[i];
					}

					this.hemisphereNet.SetUVs(0, this.rotatedHemisphereNetUvs);
				}
				else
				{
					this.hemisphereNet.SetUVs(0, this.hemisphereNetUvs);
				}

				this.hemisphereNet.RecalculateBounds();
				break;
			default:
				throw new ArgumentOutOfRangeException();
		}

		// メッシュをレンダーテクスチャ上にレンダリング
		if (this.equirectangularMaterial.SetPass(0))
		{
			var activeTexture = RenderTexture.active;
			RenderTexture.active = this.equirectangularTexture;
			var net = this.fieldOfView == FieldOfView.Full ? this.sphereNet : this.hemisphereNet;
			GL.PushMatrix();
			GL.LoadProjectionMatrix(Matrix4x4.identity);
			this.equirectangularMaterial.mainTexture = this.cubemapLeft;
			Graphics.DrawMeshNow(net, leftVertexTransform);
			this.equirectangularMaterial.mainTexture = this.cubemapRight;
			Graphics.DrawMeshNow(net, rightVertexTransform);
			GL.PopMatrix();
			RenderTexture.active = activeTexture;
		}
	}
}

注意点として、前回の独自シェーダーによる方法ではピクセル単位の正確さで展開されるのに対し、今回の方法では展開に使うメッシュをある程度細かくしないとゆがみが目立ってしまう弱点があります。
たとえばsphereNetDivisionを4に下げると、こんな風になってしまいます...

キューブマップをファイルに保存する件について追記
以前申し上げましたように、キューブマップには6つの面があります。保存メソッドを下記のようにしてみるとどうでしょうか?

void savePng(string filename, int count, RenderTexture saveRT)
{
	CubemapFace[] cubemapFaces =
	{
		CubemapFace.PositiveX, CubemapFace.NegativeX,
		CubemapFace.PositiveY, CubemapFace.NegativeY,
		CubemapFace.PositiveZ, CubemapFace.NegativeZ
	};
	Texture2D tex = new Texture2D(saveRT.width, saveRT.height, TextureFormat.RGB24, false);

	foreach (CubemapFace face in cubemapFaces)
	{
		Graphics.SetRenderTarget(saveRT, 0, face);
		tex.ReadPixels(new Rect(0, 0, saveRT.width, saveRT.height), 0, 0);
		tex.Apply();

		// Encode texture into PNG
		byte[] bytes = tex.EncodeToPNG();

		var name = @"C:\Users\Username\Desktop\unity\Captures\" + filename + count.ToString("0") + face.ToString() + ".png";
		//Write to a file in the project folder
		File.WriteAllBytes(name, bytes);
	}

	UnityEngine.Object.Destroy(tex);
}

保存された画像からキューブマップを作る場合、書き出し時と逆にCubemap.SetPixelsのfaceをそれぞれのCubemapFaceに切り替えながら計6回セットしてやることになるかと思います。

画像ファイルからキューブマップを作る件について追記

提示いたしましたコードのcubemapLeftやcubemapRightはCubemap型ではなく「dimensionをCubeにしたRenderTexture型」です。これはTexture2Dと普通のRenderTextureとの関係と同様で、前者は画像ファイルなどCPU側のデータをGPU側でのテクスチャとして使えるように送り込む用途、後者はGPU側でテクスチャ上にレンダリングを行う用途に適していると言えるでしょう。
今回のケースでは画像ロード先のキューブマップがRenderTextureである必要はないので、Cubemapに変更してはいかがでしょうか。

private Cubemap cubemapLeft;
private Cubemap cubemapRight;

そして初期化時もCubemapを作るようにしてやれば、cubemapLeftやcubemapRightに対してSetPixelsが使えるようになるはずです。

this.cubemapLeft = new Cubemap(1024, TextureFormat.RGB24, false);
this.cubemapRight = new Cubemap(1024, TextureFormat.RGB24, false);

それ以降の円筒投影するGraphics.Blit(this.cubemapRight, this.equirectangularTexture, this.equirectangularMaterial);の部分ではcubemapLeftやcubemapRightがRenderTextureであってもCubemapであっても区別せず扱えるはずですので、コードはそのままでいいかと思います。

Comments

[ocelot]

度々、申し訳ありません。
他の人がビルドしたものに使いたいと思っているのでインスペクターを操作することは一切できません。できるのはスクリプトに書くことができることだけです。

[ocelot]

インスペクターに触れない状況というのは意味不明に思われるかと思うので、どうゆうことか説明します。ビルド済みUnityのゲームがあり、そのゲームには自作のスクリプトを差し込むframeworkがあって、frameworkのPluginフォルダにdllファイルを入れると起動時に実行されます。そのためインスペクターやSerializeFieldは使うことができないのです。

[Bongo]

なるほど、ではResourcesフォルダを使うことは許されるでしょうか?
http://arit-clt.com/2016/09/15/3197/ の後半で説明されているようなやり方で、シェーダーファイルをResourcesフォルダ内に置いておいてスクリプトからロードするのはどうでしょう。これもダメだとなるとやっかいですね...

[Bongo]

すみません、コメントを見逃してしまいました。DLLファイルの形にしないといけないのですね。となるとResourcesも使えないかも...
もし何か案が思いついたら追記します。

[Bongo]

独自シェーダーを読み込ませるのは困難そうでしたので代替案を考えてみましたが、いかがでしょうか。
もしこれでもダメだとなると、あとは完全にシェーダーに頼らず展開するとかでしょうかね?
おそらく絶望的に重くなりそうな気配がしますが、仕方ないかもしれません...

[Bongo]

画像ファイルの内容をキューブマップとして使えるようにする件については、cubemapLeftとcubemapRightはCubemapではなくRenderTextureですので、対策としては画像ファイルから読み込んだ色データをRenderTextureであるcubemapRight上にレンダリングしてやるか、cubemapRightの型をCubemapに変えてやるかのいずれかになるでしょう。今回は状況的に後者の方が適切だろうと思います。

[ocelot]

無事完成しました。正直自分のできる限界を超えていたのでBongoさんの助けがなければ完成することはできませんでした。何度も何度も教えていただき本当にありがとうございました。