RenderTextureによって取得した画像をOpenCVforUnityによって射影変換し，ゲームオブジェクトのテクスチャの上に貼り付けたい．

前提・実現したいこと

発生している問題・エラーメッセージ

インスペクタでは，射影変換後の画像が貼り付けられているが，実際のオブジェクトにはテクスチャが適用されず，灰色になる．

処理の流れ

カメラが撮影している領域をRenderTextureによって取得（領域をAとする）
ReadPixelsによってAをTexture2D型に変換
texture2DToMatによって，AをMat型に変換
getPerspectiveTransformによって，Aを任意の形に射影変換（射影変換後をBとする）
貼り付けるゲームオブジェクトのテクスチャを背景画像として取得(背景画像をCとする)
CopyToによって，BをCに貼り付ける．
matToTexture2Dによって，CをTexture2D型に変換
gameObject.GetComponent<Renderer>().material.mainTexture = B によって，メインテクスチャをBに変更する．

実行画面

図1が実行前の画面で，説明を表記している．
図2が実行時の画像である．
図2のインスペクタ右下の円を見ると，CapturedFieldにカメラで撮影した領域の一部が射影変換されて，写っていることがわかる．しかし，殆どの部分が灰色で覆われている上に，右下の円を回転させると，写っている領域と，灰色の領域が変わっていく．

図1. 画面の説明

図2. 実行時の画像

画像をキャプチャ後CapturedFieldに貼り付ける処理（処理の流れ3 ~ 8）

C#
1using OpenCVForUnity.CoreModule;
2using OpenCVForUnity.ImgprocModule;
3using OpenCVForUnity.UnityUtils;
4using UnityEngine;
5using static OpenCVForUnity.CoreModule.CvType;
6using Rect = OpenCVForUnity.CoreModule.Rect;
7
8public class PasteTexture : MonoBehaviour
9{
10    private GameObject capturedField;
11    Texture2D backGroundOnTex2D;
12
13
14    //captionOnTex2D : 撮影した画像
15    //vertices : 射影変換後の4点
16    public Texture2D pastePhoto(Texture2D captionOnTex2D, Mat[] vertices)
17    {
18        //                                      初期化                                      //
19
20        //貼付け後の画像の背景
21        backGroundOnTex2D = capturedField.GetComponent<Renderer>().material.mainTexture as Texture2D;
22        //貼付け後の画像の背景のMat
23        Mat backGroundOnMat = new Mat(backGroundOnTex2D.height, backGroundOnTex2D.width, CV_8UC4);
24        //貼付け後の画像の背景をMatに変換
25        Utils.texture2DToMat(backGroundOnTex2D, backGroundOnMat);
26
27        //撮影した画像のMat
28        Mat captionOnMat = new Mat(captionOnTex2D.height, captionOnTex2D.width, CV_8UC4);
29        //キャプションをMatに変換
30        Utils.texture2DToMat(captionOnTex2D, captionOnMat);
31
32        //射影変換後の画像
33        Mat transformedMat = new Mat(backGroundOnTex2D.height, backGroundOnTex2D.width, CV_8UC4);
34        //出力画像
35        Texture2D dst2D = new Texture2D(backGroundOnTex2D.height, backGroundOnTex2D.width);
36        //Debug.Log("yet "+ transformedMat);
37
38        //キャプチャ画像の4点
39        Mat pointCaption = new Mat(4, 1, CvType.CV_32FC2);
40        pointCaption.put(0, 0,
41            0.0, 0.0,
42            0.0, captionOnTex2D.height,
43            captionOnTex2D.width, captionOnTex2D.height,
44            captionOnTex2D.width, 0.0);
45
46        //回転後の４点
47        Mat pointVertices = new Mat(4, 1, CvType.CV_32FC2);
48        pointVertices.put(0, 0,
49            vertices[0].get(0, 0)[0], vertices[0].get(2, 0)[0],
50            vertices[1].get(0, 0)[0], vertices[1].get(2, 0)[0],
51            vertices[2].get(0, 0)[0], vertices[2].get(2, 0)[0],
52        vertices[3].get(0, 0)[0], vertices[3].get(2, 0)[0]);
53
54        //                                      処理                                      //
55        
56        //射影変換
57        transformedMat = projectiveTransform(pointCaption, pointVertices, captionOnMat);
58
59        //ROI指定
60        Rect rect = new Rect(0, 0, transformedMat.cols(), transformedMat.rows());
61        Mat Roi1 = new Mat(backGroundOnMat, rect);
62
63        //背景に射影変換後の画像を貼り付け
64        transformedMat.copyTo(Roi1);
65
66        //貼り付けた画像をTex2Dに変換
67        Utils.matToTexture2D(backGroundOnMat, dst2D);
68
69        //テクスチャに適用する
70        capturedField.GetComponent<Renderer>().material.mainTexture = dst2D;
71    }
72
73    Mat projectiveTransform(Mat pointCaption, Mat pointVertices, Mat captionOnMat)
74    {
75
76        Mat transformedMat = new Mat();
77
78        //変換行列作成
79        Mat matrix = Imgproc.getPerspectiveTransform(pointCaption, pointVertices);
80
81        //射影変換
82        Imgproc.warpPerspective(captionOnMat, transformedMat, matrix, captionOnMat.size());
83
84        return transformedMat;
85    }
86}
87