常連

社会貢献

以前同じようなことを質問したのですが行き詰ってしまいました。

### 前提・実現したいこと
２台のプロジェクターで単色画像を投影し、その画像の重なり部分をなくしたいというのが最終目標です。
重なっている部分で線分を決め、その線分それぞれのピクセル座標を求めれば、左右の単色画像のはみ出た部分を黒にするという方法を考えています。
![イメージ説明](9be8fb4a348a558d0196927417224e79.png)

具体的な方法としては次のような撮影状況でプロジェクターからグレイコードを左右片方ずつ投影し、真ん中のカメラで撮影します。
２台のプロジェクターの配置はカメラで撮影した画像の真ん中にちょうど重複部が来るように配置してあり、保存した画像は640*480サイズなので、横320のラインで分けようと考えています。
![イメージ説明](21895f65bfe9277913928c5bc4b5d30c.png)
![イメージ説明](5a081656493e5b8a34d6bef5b8d32679.png)

左右のグレイコードの投影、撮影はすでに終わっており次のようになっています。
左側一覧![イメージ説明](34233d5697941e5d3bc1e00cf34c7bdb.png)
右側一覧![イメージ説明](ca09b9b780c73a33373f9d494fc40ba2.png)

### わからないこと
この投影したグレイコードを利用し座標を求め色を分けたいなと考えているのです。
例として写真の線分上の座標点が(320,232)だったとします。左側のプロジェクターで投影したグレイコードであれば、
白を１黒を０とした場合、目視での確認としてしまいましたが
ｘ座標が(1001100110101011)ｙ座標が(0110101011100101)となりました。
※ｘとｙそれぞれ１８枚あったが最後２枚はつぶれてしまって使えなくなったので１６枚までとし１６ケタとした
あとは左側のプロジェクターで同じ場所を探し、それより右側を映さなくするあるいは黒色に処理しようと考えていました。
これをパターンが投影されている線分上すべての点でやろうと思ったのですがどういう風にプログラム書けばいいのかわからなくて困ってます。。
そもそももっとやりやすい方法があるのでしょうか・・
わからないくせに難しいことやってるなと思っています
ご教よろしくお願いします。

### 補足情報（FW/ツールのバージョンなど）

OpenCVは3.4.3、Visual Studioは2017communityです。

２台のプロジェクターで出した単色２つの重複部を無くしたい

###最終　--2018.11.16 13:40　追記 --
回避策...
手動、マクロ 問わずに 大量のセルに対し操作の必要があるときは
「カメラ」機能や リンクされた図は使用しない
又は、
一度閉じると使用メモリが元に戻るので
目視、又はpowershell 等を用いて使用メモリが一定量を超えたら
Excelプロセスを再起動してから作業を続行する...

「カメラ」機能や リンクされた図は使用しない のが王道でしょうか
他にも不具合がいっぱいあるようですし
便利な機能なのでとても残念です.....


###現在の状況　--2018.11.16 11:35　追記 --
sazi 様 からのコメントで分かったのですが
カメラ機能でなくても
貼り付けオプションの「リンクされた図」でも
同様の症状が出ることが分かりました。

###現在の状況　--2018.11.16 11:20　追記 --
検証を重ねた結果
メモリの上昇量には一応上限があることが分かりました。
カメラの範囲の他
入力されている数式の数 計算量?
等に影響されることが分かりました。
Win10 Excel 2013 32bit でも確認しました。

###現在の状況　--2018.11.16 10:40　追記 --
原因の特定が出来ました。
Excelの 「カメラ」機能を使用して作成したオブジェクトが存在すると
本文記載の問題が発生するようです。

Win10 Excel 2016 64bit で
新規ブックのみを立ち上げ確認致しました。

そのオブジェクトは
0. 適当なセル10個ほど選択
0. 「カメラ」をクリック
0. 適当なセルクリック
で配置しました。

出来れば引き続き「カメラ」機能は使いたいのですが
回避方法はないのでしょうか?
また、症状の再現が出来た方、出来なかった方
環境を教えて頂きたいです。
お願い致します。

「カメラ」機能はクイックアクセスツールバーに追加して利用しました。

![イメージ説明](4d3ba88410469581ee509816d367208c.png)
![イメージ説明](d8e4949cf16bf1a3c497738682c29978.png)


###現在の状況　--2018.11.16 09:47　追記 --
いろいろ検証をした結果
コードだけに問題があるわけではなく
 Excelファイルが異常をきたしている のか 
特定条件下のでの Excelの挙動が問題になっている可能性が高いことが分かりました。

発生している 症状は

特定のブックを開いている状態で同じプロセス内の任意のブックの任意の
セルの設定(塗りつぶし、ユーザー定義書式 等)を書き換えるだけで
その都度 使用メモリが増加する。

手動で適当なブックの適当なセルを選択してセルの塗りつぶしボタンを連打するだけでも同様に発生

特定のブックは開かず 新規のブックのみ開いて手動でセルの塗りつぶしボタンを連打しても
使用メモリは 増加しますが
おそらく 戻るボタンの 履歴の関係だと思うのですが　そちらは一定以上は上がりません。

特定のブックを開いていると下記のコードを実行しただけでメモリ不足のエラーが表示されます。
```vba
Sub test()

    Dim i As Integer
    For i = 1 To 10000
        Selection.NumberFormat = Selection.NumberFormat
    Next i
End Sub
```
他気になる点は
上記コード実行時はExcelのCPU 使用率が10％強 くらいまでしか上がらず
(未保存新規ブックのみ起動の場合は30%くらいまで使用率が上がり、すぐ終わる)
実行速度が極端に低下することです。

現在 状況を再現できないか確認しています。



### 前提・実現したいこと
発端は
Excel ブック(ファイル)に問題があるのか頻繁にデータが壊れて
修復しますか?と表示される。
修復を選択すると開けるが セル幅 が全て同じ幅になってしまったりして　まともに修復できていない。
そんな状態を何とかしたい...
過去に同様の現象が起きたときはブックを新規作成(シートをコピーしたらだめだった)して作り直したら再発しなくなったので、
そうしようと思ったのですが量が多い...

そのためマクロで書式設定等を移してしまおうと思ったのですが
メモリが不足していますと表示されて途中までしか実行できません。

**メモリが不足と表示されてしまう**原因が全く分からず
今回はいつこの問題が解決できるかもわからないので諦めて手動で作り直そうかと思うのですが、
今後の対策のためにも**原因が知りたい**です。

極力コードを削って確認してみたのですが
Get_Set_CellInfo 内の 塗りつぶし　や　削ったため下記のコードにはないですが
罫線の設定、ユーザー定義書式の設定などでも同様にメモリ不足と表示されます。

タスクマネージャで見てみたのですが　パソコン全体のメモリは余裕があるようでした...

### 発生している問題・エラーメッセージ

![![イメージ説明](bf6b58ce573e0c9e4bc1d2247c658404.png)
### 該当のソースコード


Book1の全ての使用済みセルに対しての処理
処理は結合範囲ごと(セルをひとつずつ確認して結合セル範囲の左上だった時のみ)



```vba

Sub SHC()

    Const BaseNm As String = "Book1.xlsx"
    Const TargetNm As String = "Book2.xlsx"
    
    Dim Base As Workbook
    Set Base = Workbooks(BaseNm)
    
    Dim Target As Workbook
    Set Target = Workbooks(TargetNm)
    
    Dim BaseCt As Integer
    BaseCt = Base.Sheets.Count
    
    Dim i As Integer
    
    
    Application.EnableEvents = False
    Application.Calculation = xlCalculationManual
    
    Dim Result As Variant
    
    For i = 1 To BaseCt
    Debug.Print i
        Get_Set_CellJoin Base.Sheets(i), Target.Sheets(i)
    Next i
    Application.EnableEvents = True
    Application.Calculation = xlCalculationAutomatic
    
End Sub

Sub Get_Set_CellInfo(BRng As Range, TRng As Range)

    If BRng.MergeCells Then
        TRng.Merge
    End If

' 塗りつぶし
    TRng.Interior.Pattern = BRng.Interior.Pattern
    If Not BRng.Interior.Pattern = xlNone Then
        TRng.Interior.Color = BRng.Interior.Color
    End If

End Sub


Sub Get_Set_CellJoin(BSh As Worksheet, SSh As Worksheet)
'セルの書式

    Dim Rng As Range
    Set Rng = BSh.UsedRange
    
    Dim Row As Long
    Row = Rng.Rows.Count
    
    Dim Col As Long
    Col = Rng.Columns.Count
    
    Dim R As Long
    Dim C As Long
    
    Dim TCell As Variant
    
    For R = 1 To Row
        For C = 1 To Col
            
            If Rng(R, C).Address(False, False) = Rng(R, C).MergeArea(1, 1).Address(False, False) Then
                Debug.Print Rng(R, C).MergeArea.Address(False, False)
                Get_Set_CellInfo Rng(R, C).MergeArea, SSh.Range(Rng(R, C).MergeArea.Address(False, False))
            End If
            
        Next C
    Next R
    
End Sub
```

### 試したこと

For each で回しているのが悪いのかと思いfor に書き直してみた
途中でブックの保存を挟んでみた
Set を使っているものに対しては各プロシージャの最後で　set 変数 = nothing をしてみた
パソコンを再起動してみた
ステップインで一つずつステートメントを実行してみた
罫線等の設定でも同様になる

--追記--
mdj　様の「1シート処理するように書き換えてみて、検証するのはどうでしょうか。」の言葉で
目的のブック以外に同様の操作をした場合に同じ現象が起きるかどうかの検証をしていないことに気づいたので、
**容量が多い別のファイル(数式は殆ど入っていない)で　検証をした結果
そちらでは同様の問題は発生しませんでした。**


--追記--
プログラムエラーとは別に 新規作成から作り直していたExcelブックの件で、
7時間くらいかけてなんとか 元のブックと見分けがつかないくらいまで作ったのですが
2018.11.15 現在 壊れているのを確認しました....

仮定していた「長年(拡張子が .xls だったころから)使ってきたので
ブックのどこかがおかしくなっていて壊れやすくなっている」という可能性が低くなりました。

「代わりに特定条件下で壊れやすくなっている」可能性が 高くなったので
プログラムエラーの件と合わせて**再現可能か確認**してみます。

他のブックとの違いといえば 他のブックへの参照 と 他のブックからの参照 があり
尚且つ そのデータを使ったグラフがある事くらいだと思うのですが...

--追記--
見かけそっくりに作り直した方のデータ(一度壊れて再び修復中のためグラフがない　あと他ブックへのリンクが切れているかも...)に対しては
使用メモリが増え続ける現象は起きませんでした。

--追記--
メモリがパンクする前に中断した場合 そのExcelプロセスを閉じるまで(ブックを閉じても)メモリはそのままでした。
開きなおすと 増加してしまった使用メモリは元に戻っていました。

問題のブックのセル設定の読み込みのみ(variant 変数への代入)のみ行った場合は使用メモリの増加は発生しませんでした。

問題のブックを開いた状態で 同じプロセス上の関係のないブックのセルの設定を書き換えて見たら 使用メモリの増加が発生しました。

どうやら　問題のブックを開いている状態で同じプロセス内のブックのセルの設定を書き換えるだけで
使用メモリが増加してしまうようです。

--追記-- 
問題のブックを開いている場合
手動で適当なブックの適当なセルを選択してセルの塗りつぶしボタンを連打するだけでも
使用メモリが増加することが 確認できました....

問題のブックは開かず 新規のブックのみ開いて同様の内容を行っても
使用メモリは 増加しますが
一定以上は上がりません。

そちらはおそらく履歴(戻るボタンで戻るための分)で増えただけだと思われます。


### 補足情報（FW/ツールのバージョンなど）

Win10
Excel 2016 64bit

Book1の情報
拡張子 xlsx
ファイルサイズ　112 KB
各シートのUsedRange
シートインデックス = 1 : 行数 = 57 : 列数 = 54
シートインデックス = 2 : 行数 = 36 : 列数 = 73
シートインデックス = 3 : 行数 = 34 : 列数 = 73
シートインデックス = 4 : 行数 = 34 : 列数 = 73
シートインデックス = 5 : 行数 = 57 : 列数 = 11
シートインデックス = 6 : 行数 = 40 : 列数 = 22
シートインデックス = 7 : 行数 = 31 : 列数 = 15
シートインデックス = 8 : 行数 = 20 : 列数 = 18

グラフ1(折れ線グラフ)
数式多数 使用　(他のブックへの参照と他のブックからの参照多々あり)

Excel vba でメモリが不足しています。っと表示されて処理が完了できない。

KINECTの深度情報から、ある一定距離以上のところを塗りつぶして二値化しています。ここまでは分かるのですが、ここからはOpencvsharpで処理を行いたいです（面積計算など）。Opencvsharpでの処理は、どこにプログラムを書くべきでしょうか？

また、どのようにしてKINECTからOpencvsharpに画像（深度画像）を渡せば良いのか教えてくれませんか？
以下は、KINECTから色画像と深度画像を得るプログラムです。

よろしくお願いいたします。

```C#
using System;
using System.Diagnostics;
using System.IO;
using System.Threading;
using System.Windows;
using System.Windows.Media;
using System.Windows.Media.Imaging;
using System.Windows.Shapes;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Controls;
using System.Windows.Data;
using System.Windows.Documents;
using System.Windows.Input;
using System.Windows.Navigation;
using OpenCvSharp;
using OpenCvSharp.Extensions;

using Microsoft.Kinect;

namespace KINECT_Opencv
{
    /// <summary>
    /// MainWindow.xaml の相互作用ロジック
    /// </summary>
    public partial class MainWindow : Window
    {
        /// <summary>
        /// コンストラクタ
        /// </summary>
        public MainWindow()
        {
            try
            {
                InitializeComponent();

                // Kinectが接続されているかどうかを確認する
                if (KinectSensor.KinectSensors.Count == 0)
                {
                    throw new Exception("Kinectを接続してください");
                }

                // Kinectの動作を開始する
                StartKinect(KinectSensor.KinectSensors[0]);
            }
            catch (Exception ex)
            {
                MessageBox.Show(ex.Message);
                Close();
            }
        }

        /// <summary>
        /// Kinectの動作を開始する
        /// </summary>
        /// <param name="kinect"></param>
        private void StartKinect(KinectSensor kinect)
        {
            // RGBカメラを有効にして、フレーム更新イベントを登録する
            kinect.ColorStream.Enable();
            kinect.ColorFrameReady +=
              new EventHandler<ColorImageFrameReadyEventArgs>(kinect_ColorFrameReady);

            // 距離カメラを有効にして、フレーム更新イベントを登録する
            kinect.DepthStream.Enable();
            kinect.DepthFrameReady +=
              new EventHandler<DepthImageFrameReadyEventArgs>(kinect_DepthFrameReady);

            // Kinectの動作を開始する
            kinect.Start();

            // defaultモードとnearモードの切り替え
            comboBoxRange.Items.Clear();
            foreach (var range in Enum.GetValues(typeof(DepthRange)))
            {
                comboBoxRange.Items.Add(range.ToString());
            }

            comboBoxRange.SelectedIndex = 0;
        }

        /// <summary>
        /// Kinectの動作を停止する
        /// </summary>
        /// <param name="kinect"></param>
        private void StopKinect(KinectSensor kinect)
        {
            if (kinect != null)
            {
                if (kinect.IsRunning)
                {
                    // フレーム更新イベントを削除する
                    kinect.ColorFrameReady -= kinect_ColorFrameReady;
                    kinect.DepthFrameReady -= kinect_DepthFrameReady;

                    // Kinectの停止と、ネイティブリソースを解放する
                    kinect.Stop();
                    kinect.Dispose();

                    imageRgb.Source = null;
                    imageDepth.Source = null;
                }
            }
        }

        /// <summary>
        /// RGBカメラのフレーム更新イベント
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>
        void kinect_ColorFrameReady(object sender, ColorImageFrameReadyEventArgs e)
        {
            try
            {
                // RGBカメラのフレームデータを取得する
                using (ColorImageFrame colorFrame = e.OpenColorImageFrame())
                {
                    if (colorFrame != null)
                    {
                        // RGBカメラのピクセルデータを取得する
                        byte[] colorPixel = new byte[colorFrame.PixelDataLength];
                        colorFrame.CopyPixelDataTo(colorPixel);

                        // ピクセルデータをビットマップに変換する
                        imageRgb.Source = BitmapSource.Create(colorFrame.Width, colorFrame.Height, 96, 96,
                            PixelFormats.Bgr32, null, colorPixel, colorFrame.Width * colorFrame.BytesPerPixel);
                    }
                }
            }
            catch (Exception ex)
            {
                MessageBox.Show(ex.Message);
            }
        }

        /// <summary>
        /// 距離カメラのフレーム更新イベント
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>
        readonly int Bgr32BytesPerPixel = PixelFormats.Bgr32.BitsPerPixel / 8;

        void kinect_DepthFrameReady(object sender, DepthImageFrameReadyEventArgs e)
        {
            try
            {
                // Kinectのインスタンスを取得する
                KinectSensor kinect = sender as KinectSensor;
                if (kinect == null)
                {
                    return;
                }

                // 距離カメラのフレームデータを取得する
                using (DepthImageFrame depthFrame = e.OpenDepthImageFrame())
                {
                    if (depthFrame != null)
                    {
                        // 距離データを画像化して表示
                        imageDepth.Source = BitmapSource.Create(depthFrame.Width,
                          depthFrame.Height, 96, 96, PixelFormats.Bgr32, null,
                          ConvertDepthColor(kinect, depthFrame),
                          depthFrame.Width * Bgr32BytesPerPixel);
                    }
                }
            }
            catch (Exception ex)
            {
                MessageBox.Show(ex.Message);
            }
        }

        /// <summary>
        /// 距離データをカラー画像に変換する
        /// </summary>
        /// <param name="kinect"></param>
        /// <param name="depthFrame"></param>
        /// <returns></returns>
        private byte[] ConvertDepthColor(KinectSensor kinect,
          DepthImageFrame depthFrame)
        {
            ColorImageStream colorStream = kinect.ColorStream;
            DepthImageStream depthStream = kinect.DepthStream;

            // 距離カメラのピクセルごとのデータを取得する
            short[] depthPixel = new short[depthFrame.PixelDataLength];
            depthFrame.CopyPixelDataTo(depthPixel);

            // 距離カメラの座標に対応するRGBカメラの座標を取得する(座標合わせ)
            ColorImagePoint[] colorPoint =
              new ColorImagePoint[depthFrame.PixelDataLength];
            kinect.MapDepthFrameToColorFrame(depthStream.Format, depthPixel,
              colorStream.Format, colorPoint);

            byte[] depthColor = new byte[depthFrame.PixelDataLength * Bgr32BytesPerPixel];
            for (int index = 0; index < depthPixel.Length; index++)
            {
                // 距離カメラのデータから、距離を取得する
                int distance = depthPixel[index] >> DepthImageFrame.PlayerIndexBitmaskWidth;

                // 変換した結果が、フレームサイズを超えることがあるため、小さいほうを使う
                int x = Math.Min(colorPoint[index].X, colorStream.FrameWidth - 1);
                int y = Math.Min(colorPoint[index].Y, colorStream.FrameHeight - 1);

                // 動作が遅くなる場合、MapDepthFrameToColorFrame を外すと速くなる場合が
                // あります。外す場合のx,yはこちらを使用してください。
                //int x = index % depthFrame.Width;
                //int y = index / depthFrame.Width;

                int colorIndex = ((y * depthFrame.Width) + x) * Bgr32BytesPerPixel;

                // 指定された距離より遠ければ色付け
                if (distance >= depthStream.MinDepth)
                {
                    depthColor[colorIndex] = 0;
                    depthColor[colorIndex + 1] = 0;
                    depthColor[colorIndex + 2] = 255;
                }

            }

            return depthColor;
        }

        /// <summary>
        /// 距離カメラの通常/近接モード変更イベント
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>
        private void comboBoxRange_SelectionChanged(object sender,
          System.Windows.Controls.SelectionChangedEventArgs e)
        {
            try
            {
                KinectSensor.KinectSensors[0].DepthStream.Range =
                  (DepthRange)comboBoxRange.SelectedIndex;
            }
            catch (Exception)
            {
                comboBoxRange.SelectedIndex = 0;
            }
        }


        /// <summary>
        /// Windowsが閉じられるときのイベント
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>
        private void Window_Closing(object sender, System.ComponentModel.CancelEventArgs e)
        {
            StopKinect(KinectSensor.KinectSensors[0]);
        }
    }
}
```

KINECTで得られた画像をOpenCvSharpに渡して処理を行いたいです。

ハリスの方法で、下の画像の白い図形の頂点を検出を行い、その頂点の上に点を置きたいと思っています。
しかし、Cv.CornerHarris()の関数を使っても、その後にどのように頂点の座標を得るのかがわかりません。どなたか、教えていただけませんか？

```C#

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using OpenCvSharp;

namespace tyouten
{
    class Program
    {
        static void Main(string[] args)
        {
            
            IplImage imgSrc = new IplImage("C:\pictures\sample2.png",LoadMode.Color);　　// 入力画像
            IplImage imgGray = new IplImage("C:\pictures\sample2.png", LoadMode.GrayScale); // グレー画像
            IplImage imgBinary = new IplImage(imgSrc.Size, BitDepth.U8, 1);            // 二値化用の画像
            Cv.CvtColor(imgSrc, imgGray, ColorConversion.BgrToGray);                 // グレー画像へ変換
            Cv.Threshold(imgGray, imgBinary, 100, 255, ThresholdType.Binary);        // 二値化

            IplImage img3 = new IplImage(imgSrc.Size, BitDepth.F32, 1);                 // ハリス用の画像

Cv.Normalize(imgBinary, imgBinary);                                       // 正規化
            Cv.CornerHarris(imgBinary, img3, 3);                                      // コーナー検出

Cv.ShowImage("Src", imgSrc);
            Cv.ShowImage("Binary", imgBinary);
            Cv.ShowImage("result ", img3);

```![対象画像](87ccdfd13497ba5e5d3eb1c3edfcbbd3.png)

OpenCvSharpでコーナ検出をしたいのですが、結果の表示の仕方がわかりません。

二値化された画像から図形の輪郭を抽出し、頂点の座標の取得を行っているのですが、画像のように四角形の輪郭の座標しか得られていません。三角形も輪郭を検出しているのはわかるのですが・・・。contoursの指定の仕方が悪いのでしょうか？よければ、教えていただきたいです。よろしくお願いいたします。
![イメージ説明](7d9d22d20c70f8067d6d7d327febcfd5.png)
```C#
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using OpenCvSharp;

namespace tyouten4
{
    class Program
    {
        static void Main(string[] args)
        {
            // 入力画像
            using (IplImage img = new IplImage("C:\pictures\sample2.png", LoadMode.Color))
            // グレースケール画像
            using (IplImage img2 = new IplImage("C:\pictures\sample2.png", LoadMode.GrayScale))
            //　二値化用画像
            using (IplImage binary = img2.Clone())
            using (CvMemStorage storage = new CvMemStorage())
            {
                // 二値化
                Cv.Threshold(img2, binary, 0, 255, ThresholdType.Binary | ThresholdType.Otsu);

                CvSeq<CvPoint> contours;

                // 輪郭検出
                Cv.FindContours(img2, storage, out contours, CvContour.SizeOf, ContourRetrieval.External, ContourChain.ApproxSimple);

                // 座標から、頂点に点を描画
                for (int i = 0; i <= contours.Total;)
                {
                    Console.WriteLine(contours[i]);
                    Cv.Circle(img, new CvPoint(contours[i].Value.X, contours[i].Value.Y), 5, new CvScalar(0, 0, 255));
                    i++;
                }

                // 輪郭の描画
                Cv.DrawContours(img, contours, new CvScalar(0, 0, 255), new CvScalar(0, 255, 0), 3);

                // 画像の表示
                Cv.ShowImage("img", img);
                Cv.ShowImage("img2", img2);
                Cv.ShowImage("binary", binary);
                Cv.WaitKey();
            }






        }
    }
}
```