OpenCVで二値化処理を繰り返したところメモリリーク発生

Question

バージョン

Microsoft Visual Studio Community 2022 (64 ビット) - Current
Version 17.2.2
.NETframeworkにて作成

内容

OpenCVにて二値化処理を1000回行い、その時間を計測するプログラムを作成しました。
しかし、プログラムを実行したところメモリリークの影響でエラーが発生してしまいます。

###エラーメッセージは以下です。画像にて失礼します。

使用した画像のサイズ：258 KB

該当のソースコード

//インストール済みライブラリ
//OpenCVSharp4
//OpenCVShaerp4.Extensions
//OpenCVSharp4.runtime.win

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using System.Diagnostics;　//ストップウォッチクラス使用の為記載
//以下、OpenCvsharpの使用とMatの変換用として追加
using OpenCvSharp;
using OpenCvSharp.Extensions;


namespace OpenCV_メモリリークデバッグ用
{
    public partial class Form1 : Form
    {
        Mat image;
        Stopwatch sw = new Stopwatch();     // ストップウォッチオブジェクト生成

        public Form1()
        {
            InitializeComponent();
        }

        private void Form1_Load(object sender, EventArgs e)
        {
            pictureBox1.SizeMode = PictureBoxSizeMode.Zoom;
        }

        private void BtnLoad_Click(object sender, EventArgs e)
        {
            var ofd = new OpenFileDialog();
            //ファイルフィルタ  
            ofd.Filter = "Image File(*.bmp,*.jpg,*.png,*.tif)|*.bmp;*.jpg;*.png;*.tif|Bitmap(*.bmp)|*.bmp|Jpeg(*.jpg)|*.jpg|PNG(*.png)|*.png";
            //ダイアログの表示 
            if (ofd.ShowDialog() == DialogResult.OK)
            {
                string image_path = ofd.FileName;　//選択した画像のパスを取得
                image = Cv2.ImRead(image_path);   //ImRead関数で画像を読み込む
                pictureBox1.Image = BitmapConverter.ToBitmap(image);　//MatをBitmapへ変換し pictureBox1で表示させる
            }
        }

        private void BtnStart_Click(object sender, EventArgs e)
        {
            Bitmap pic = null;

            sw.Start();  //時間計測スタート

            for (int i=0; i<100; i++)
            {
                //グレー化
                var grayImage = image.CvtColor(ColorConversionCodes.BGR2GRAY);
                //二値化
               var thresholdImege = grayImage.Threshold(128, 255, ThresholdTypes.Binary);
                pic = BitmapConverter.ToBitmap(thresholdImege);　//MatをBitmapへ変換
            }
            pictureBox1.Image = pic;

            sw.Stop();//時間計測ストップ
            Console.WriteLine(sw.Elapsed);//計測時間表示
        }
    }
}

試したこと

①ピクチャーボックスのメモリ開放なども試しました。が変わらず。
以下の内容を55行に追加し試しました。
if (pictureBox1.Image != null)
{
pictureBox1.Image.Dispose();
}

最後に

諸事情により、1000回処理した時間を計測したかったのですが、そもそもPCの性能的に無理なのでしょうか。

ご教示お願いいたします。

追記　　SurferOnWwwさんのサンプルプログラム反映後

//インストール済みライブラリ
//OpenCVSharp4
//OpenCVShaerp4.Extensions
//OpenCVSharp4.runtime.win

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using System.Diagnostics;　//ストップウォッチクラス使用の為記載
//以下、OpenCvsharpの使用とMatの変換用として追加
using OpenCvSharp;
using OpenCvSharp.Extensions;


namespace OpenCV_メモリリークデバッグ用
{
    public partial class Form1 : Form
    {
        Mat image;
        Stopwatch sw;

        public Form1()
        {
            InitializeComponent();
        }

        private void Form1_Load(object sender, EventArgs e)
        {
            pictureBox1.SizeMode = PictureBoxSizeMode.Zoom;
        }

        private void BtnLoad_Click(object sender, EventArgs e)
        {
            var ofd = new OpenFileDialog();
            //ファイルフィルタ  
            ofd.Filter = "Image File(*.bmp,*.jpg,*.png,*.tif)|*.bmp;*.jpg;*.png;*.tif|Bitmap(*.bmp)|*.bmp|Jpeg(*.jpg)|*.jpg|PNG(*.png)|*.png";
            //ダイアログの表示 
            if (ofd.ShowDialog() == DialogResult.OK)
            {
                string image_path = ofd.FileName;　//選択した画像のパスを取得
                image = Cv2.ImRead(image_path);   //ImRead関数で画像を読み込む
                pictureBox1.Image = BitmapConverter.ToBitmap(image);　//MatをBitmapへ変換し pictureBox1で表示させる
            }
        }

        private void BtnStart_Click(object sender, EventArgs e)
        {
            sw = new Stopwatch();     // ストップウォッチオブジェクト生成
            Bitmap pic = null;
            sw.Start();  //時間計測スタート

            for (int i=0; i<1000; i++)
            {
                //グレー化
                using (var grayImage = image.CvtColor(ColorConversionCodes.BGR2GRAY))
                //二値化
                using (var thresholdImege = grayImage.Threshold(128, 255, ThresholdTypes.Binary)) 
                {
                    pic = BitmapConverter.ToBitmap(thresholdImege);
                    pictureBox1.Image = pic;
                }
            }

            sw.Stop();//時間計測ストップ
            Console.WriteLine(sw.Elapsed);//計測時間表示

        }
    }
}

Comments

[nonoshu]

VisualStudioが出すエラーメッセージを（抜粋せず、内容は出来るだけそのまま）質問文に追記することは出来ますか？

[moko]

かしこまりました！ありがとうございます！

[nonoshu]

追記ありがとうございます。
追記してもらった画像中に青色文字で「詳細の表示」の部分がクリックできると思います、
その情報も掲載可能でしょうか？

[len_souko]

https://teratail.com/questions/49741
ループ内でのpicへの代入ですが、古いpicが解放されていないからなのでは？

[moko]

odataikiさん
コメントありがとうございます！詳細こちらです。
OpenCvSharp.OpenCVException
HResult=0x80131500
Message=Failed to allocate 1637624 bytes
Source=<例外のソースを評価できません>
スタック トレース:
<例外のスタック トレースを評価できません>

この例外は、最初にこの呼び出し履歴
[外部コード]
OpenCV_メモリリークデバッグ用.Form1.BtnStart_Click(object, System.EventArgs) (Form1.cs 内)
[外部コード]
OpenCV_メモリリークデバッグ用.Program.Main() (Program.cs 内) でスローされました

[退会済みユーザー]

リソースリークというやつですね。
https://en.wikipedia.org/wiki/Resource_leak

手元の環境でちょっと試したところ32bitだと特にすぐになくなります。64bitだとなかなかなくなりませんが、なくなるときはほとんどフリーズした感じになる場合が多いです…
画像は以下のオリジナルサイズを使ったところ32bitでは20回くらいでパンクしてました。
https://unsplash.com/ja/%E5%86%99%E7%9C%9F/tfjKJ_gN39E

解決策はYAmaGNZさんのおっしゃるように開放＝BitmapもMatもDisposeしてあげるか、usingで宣言しないと駄目です。
原因はどちらもunmanagedなリソースを持っているので、能動的にDisposeしないとそれらがgcから破棄される前にリソースが足りなくなるからです。やり方はちょっと違いますが、OpenCVSharpのサンプルコードでもusingを使っていますよ。
https://github.com/shimat/opencvsharp_samples/blob/master/SamplesCore/Samples/BinarizerSample.cs

[退会済みユーザー]

回答欄に追加質問を書いたようですが、そういうことをされると質問と回答がゴッチャになって訳がわからなくなるので避けてください。

質問者さんが書いた回答（追加質問）の文章部分は私の回答の下のコメント欄に書いて、コードの部分は、コメント欄ではインデントが効かないので、質問欄に追記する形で書いてください。

質問者さんが書いた回答は削除願います。

[退会済みユーザー]

話が通じてないです。もう一回書きますのでよく読んでください。

質問者さんが書いた回答（追加質問）の文章部分は私の回答の下のコメント欄に書いて、コードの部分は、コメント欄ではインデントが効かないので、質問欄に追記する形で書いてください。

質問者さんが書いた回答は削除願います。

[moko]

大変失礼しました。誤ったコメントについては削除依頼中になります。

追記にありように、
頂いた参考例をもとに反映しました。こちら試したところ、スタートボタンを押した一回目だけメモリリークをおこし、（1000回処理だとぎり耐えます）2回目以降はリークを起こさない現象が起きました。理由がわからず困っています。教えていただけたら幸いです。よろしくお願いいたします。

以上よろしくお願いいたします。

[退会済みユーザー]

上の私のコメントで「質問者さんが書いた回答（追加質問）の文章部分は私の回答の下のコメント欄に書いて」とお願いしましたが、それがイヤなら上の質問者さんのコメントの文章の、

頂いた参考例をもとに反映しました。こちら試したところ、スタートボタンを押した一回目だけメモリリークをおこし、（1000回処理だとぎり耐えます）2回目以降はリークを起こさない現象が起きました。理由がわからず困っています。

・・・を上の質問欄の「追記　　SurferOnWwwさんのサンプルプログラム反映後」の行の直下に追記してください。

ここ質問のコメント欄は、もともと質問内容への情報の追加等を依頼する場所で、情報の追加を行う場所ではありません。初期画面では閉じているので読まない人も多々いますし。

[退会済みユーザー]

> 頂いた参考例をもとに反映しました。こちら試したところ、スタートボタンを押した一回目だけメモリリークをおこし、（1000回処理だとぎり耐えます）2回目以降はリークを起こさない現象が起きました。理由がわからず困っています。

それに対するレスは私の回答欄に追記しておきます。

[退会済みユーザー]

質問者さん、その後無言ですが、追加質問に対しても回答したのでそれに対するフィードバックを返してください。役に立った/立たなかったぐらいはすぐに返せるのでは？ 役に立たなかったならどこがダメかを書くとより期待に近い回答が出てくるかも。解決したなら解決に役立った回答にベストアンサーをつけてクローズしてください。とにかく無言は NG です。

[moko]

お返事遅れて大変申し訳ございません。
usingステートメントを使用してアンマネージドリソースを開放する必要があるという件に関しては非常にためになりました。しかし、pictureBoxに二値化後の画像を表示したいのですが、usingステートメントで
開放してしまうためかエラーが発生するため解決はしていない段階になります。

Answer 1

回答ではありません

誰でも似たような現象を起こせる、再現しやすいコード(の対策版)を書いてみました。

作成環境

• Microsoft Windows 10
• Microsoft Visual Studio Community 2019

再現環境

作成手順

※Visual Studio 2019での作成手順です

1. Windowsフォームアプリでプロジェクトを作成
2. PerformanceTestAppというプロジェクト名に設定して「次へ」
3. .NET5.0(サポート対象外)を選択して「作成」
4. PerformanceTestAppプロジェクトを右クリックして「NuGetパッケージの管理」
5. 「参照」タブで以下のパッケージをインストール
6. Form1.csをPerformaceTestForm.csにリネームして「はい」
7. ソリューションエクスプローラーからPerformanceTestForm.csを右クリックしてコード表示して全部消して下記コードをコピペ
8. ソリューションエクスプローラーからPerformanceTestForm.Designer.csを表示して全部消して下記コードをコピペ
9. ソリューションエクスプローラーからPerformanceTestForm.csを右クリックしてデザイナーで表示して、ボタンを選択した状態からImageプロパティを書き換えようとしてダイアログを開き、Local resourceのImportから下記URLからダウンロードした画像ファイルを選択してOK。
10. 全て保存してビルド

NuGetで追加するパッケージ

・OpenCvSharp4(4.6.0.20220608)
・OpenCvSharp4.Extensions(4.6.0.20220608)
・OpenCvSharp4.Windows(4.6.0.20220608)

画像URL

https://unsplash.com/ja/%E5%86%99%E7%9C%9F/tfjKJ_gN39E
(UnsplashのDan Waymanさんが撮影した写真)
※オリジナルサイズの画像を使ってください

コード

PerformanceTestForm.cs

using OpenCvSharp;
using OpenCvSharp.Extensions;
using System;
using System.Diagnostics;
using System.Drawing;
using System.Threading.Tasks;
using System.Windows.Forms;
namespace PerformanceTestApp
{
    public partial class PerformanceTestForm : Form
    {
        private Mat image = null;
        private Stopwatch sw = new Stopwatch();
        public PerformanceTestForm()
        {
            InitializeComponent();
        }
        private async void buttonStart_Click(object sender, EventArgs e)
        {
            buttonStart.Enabled = false;
            var pic = new Bitmap(pictureBox.Image);
            await Task.Run(() =>
            {
                if (image == null) image = BitmapConverter.ToMat(pic);
                sw.Restart();
                for (int i = 0; i < 1000; i++)
                {
                    using var grayImage = image.CvtColor(ColorConversionCodes.BGR2GRAY);
                    using var thresholdImege = grayImage.Threshold(128, 255, ThresholdTypes.Binary);
                    pic?.Dispose();
                    pic = BitmapConverter.ToBitmap(thresholdImege);
                }
                sw.Stop();
            });
            var oldImage = pictureBox.Image;
            pictureBox.Image = pic;
            oldImage?.Dispose();
            MessageBox.Show("時間: " + sw.Elapsed);
            buttonStart.Enabled = true;
        }
    }
}

PerformanceTestForm.Designer.cs

namespace PerformanceTestApp
{
    partial class PerformanceTestForm
    {
        /// <summary>
        ///  Required designer variable.
        /// </summary>
        private System.ComponentModel.IContainer components = null;

        /// <summary>
        ///  Clean up any resources being used.
        /// </summary>
        /// <param name="disposing">true if managed resources should be disposed; otherwise, false.</param>
        protected override void Dispose(bool disposing)
        {
            if (disposing && (components != null))
            {
                components.Dispose();
            }
            base.Dispose(disposing);
        }

        #region Windows Form Designer generated code

        /// <summary>
        ///  Required method for Designer support - do not modify
        ///  the contents of this method with the code editor.
        /// </summary>
        private void InitializeComponent()
        {
            this.pictureBox = new System.Windows.Forms.PictureBox();
            this.tableLayoutPanel = new System.Windows.Forms.TableLayoutPanel();
            this.buttonStart = new System.Windows.Forms.Button();
            ((System.ComponentModel.ISupportInitialize)(this.pictureBox)).BeginInit();
            this.tableLayoutPanel.SuspendLayout();
            this.SuspendLayout();
            // 
            // pictureBox
            // 
            this.pictureBox.Dock = System.Windows.Forms.DockStyle.Fill;
            this.pictureBox.ImageLocation = "";
            this.pictureBox.Location = new System.Drawing.Point(3, 3);
            this.pictureBox.Name = "pictureBox";
            this.pictureBox.Size = new System.Drawing.Size(510, 343);
            this.pictureBox.SizeMode = System.Windows.Forms.PictureBoxSizeMode.Zoom;
            this.pictureBox.TabIndex = 0;
            this.pictureBox.TabStop = false;
            // 
            // tableLayoutPanel
            // 
            this.tableLayoutPanel.ColumnCount = 1;
            this.tableLayoutPanel.ColumnStyles.Add(new System.Windows.Forms.ColumnStyle(System.Windows.Forms.SizeType.Percent, 100F));
            this.tableLayoutPanel.Controls.Add(this.pictureBox, 0, 0);
            this.tableLayoutPanel.Controls.Add(this.buttonStart, 0, 1);
            this.tableLayoutPanel.Dock = System.Windows.Forms.DockStyle.Fill;
            this.tableLayoutPanel.Location = new System.Drawing.Point(0, 0);
            this.tableLayoutPanel.Name = "tableLayoutPanel";
            this.tableLayoutPanel.RowCount = 2;
            this.tableLayoutPanel.RowStyles.Add(new System.Windows.Forms.RowStyle(System.Windows.Forms.SizeType.Percent, 100F));
            this.tableLayoutPanel.RowStyles.Add(new System.Windows.Forms.RowStyle());
            this.tableLayoutPanel.Size = new System.Drawing.Size(516, 399);
            this.tableLayoutPanel.TabIndex = 2;
            // 
            // buttonStart
            // 
            this.buttonStart.Dock = System.Windows.Forms.DockStyle.Fill;
            this.buttonStart.Location = new System.Drawing.Point(3, 352);
            this.buttonStart.Name = "buttonStart";
            this.buttonStart.Size = new System.Drawing.Size(510, 44);
            this.buttonStart.TabIndex = 1;
            this.buttonStart.Text = "START(&S)";
            this.buttonStart.UseVisualStyleBackColor = true;
            this.buttonStart.Click += new System.EventHandler(this.buttonStart_Click);
            // 
            // PerformanceTestForm
            // 
            this.AutoScaleDimensions = new System.Drawing.SizeF(7F, 15F);
            this.AutoScaleMode = System.Windows.Forms.AutoScaleMode.Font;
            this.ClientSize = new System.Drawing.Size(516, 399);
            this.Controls.Add(this.tableLayoutPanel);
            this.Name = "PerformanceTestForm";
            this.Text = "PerformanceTest";
            ((System.ComponentModel.ISupportInitialize)(this.pictureBox)).EndInit();
            this.tableLayoutPanel.ResumeLayout(false);
            this.ResumeLayout(false);

        }

        #endregion

        private System.Windows.Forms.PictureBox pictureBox;
        private System.Windows.Forms.TableLayoutPanel tableLayoutPanel;
        private System.Windows.Forms.Button buttonStart;
    }
}

x86の32bit/64bitプラットフォームの追加

1. ツールバーでAny CPUとなっているところから構成マネージャーを選ぶ
2. プラットフォームで、新規作成(x86)を選ぶ
3. 同様にx64も作成
4. あとはツールバーからAny CPU/x86(32bit)/x64(64bit)を自由に選択できる

※今回の現象(エラー)は32bitでしか出ません

再現手順

再現コードと言う割に、リソースリークを起こさない形になっているので、usingを取っ払ったり、Disposeを取っ払ってビルドして32bitで実行すれば再現します。

...
                    /* using */ var grayImage = image.CvtColor(ColorConversionCodes.BGR2GRAY);
                    /* using */ var thresholdImege = grayImage.Threshold(128, 255, ThresholdTypes.Binary);
                    //pic?.Dispose();
...

注意事項

連続して実行すると二値化後の画像を再使用しちゃうので、測定の意味がありません。

最後に

コメントや編集を追うのが面倒になったので、調べたときに書いたコードを手順付きで貼っただけです。
回答ではありません。

Answer 2

ループ内で使用しているgrayImage、thresholdImege、picを全て解放しましょう。

Answer 3

YAmaGNZ さんが回答で言われている「ループ内で使用しているgrayImage、thresholdImege、picを全て解放」するための using 句の使い方のサンプルを書いておきます。質問者さんのコードに適用して問題ないことが確認出来たら YAmaGNZ さんの回答にベストアンサーをつけてください。

using OpenCvSharp;
using System;
using System.Diagnostics;
using OpenCvSharp.Extensions;

namespace ConsoleAppOpenCV
{
    internal class Program
    {
        static void Main(string[] args)
        {           
            // 239KB の jpeg ファイル
            var file = @"C:\Users\surfe\Documents\Visual Studio 2022\CsProject\ConsoleAppOpenCV\ConsoleAppOpenCV\911GT2.jpg";
            Mat image = Cv2.ImRead(file);

            Stopwatch sw = new Stopwatch();
            sw.Start();

            for (int i = 0; i < 1000; i++)
            {
                using (var grayImage = image.CvtColor(ColorConversionCodes.BGR2GRAY))
                using (var thresholdImege = grayImage.Threshold(128, 255, ThresholdTypes.Binary))
                using (var pic = BitmapConverter.ToBitmap(thresholdImege))
                {
                    if (i % 100 == 0)
                    {
                        Console.WriteLine($"i: {i}, Time Ealasped: {sw.Elapsed}");
                    }
                }
            }

            sw.Stop();
            Console.WriteLine($"done, Time Erasped: {sw.Elapsed}");
        }
    }
}

結果は:

---

【追記】

質問のコメント欄の 2023/01/14 11:59 の私のコメントで「それに対するレスは私の回答欄に追記しておきます」と書いた件です。

頂いた参考例をもとに反映しました。こちら試したところ、スタートボタンを押した一回目だけメモリリークをおこし、（1000回処理だとぎり耐えます）2回目以降はリークを起こさない現象が起きました。理由がわからず困っています。

質問者さんが追記した以下のコードでは「ループ内で使用しているgrayImage、thresholdImege、picを全て解放」になっていない、即ち pic が解放されてないからだと思います。

for (int i=0; i<1000; i++)
{
    //グレー化
    using (var grayImage = image.CvtColor(ColorConversionCodes.BGR2GRAY))
    //二値化
    using (var thresholdImege = grayImage.Threshold(128, 255, ThresholdTypes.Binary)) 
    {
        pic = BitmapConverter.ToBitmap(thresholdImege);
        pictureBox1.Image = pic;
    }
}

pic も開放する、すなわち以下のようにして試してみてください。

for (int i=0; i<1000; i++)
{
    //グレー化
    using (var grayImage = image.CvtColor(ColorConversionCodes.BGR2GRAY))
    //二値化
    using (var thresholdImege = grayImage.Threshold(128, 255, ThresholdTypes.Binary)) 
    using (pic = BitmapConverter.ToBitmap(thresholdImege))
    {
        // これはできないのでとりあえずコメントアウト
        //pictureBox1.Image = pic;
    }
}

何度実行してもメモリーリークは起こらないことが確認できるはずです。

だた、質問者さんのオリジナルのコード、追記版のコード、さらに上のように pic も開放するコードのいずれも 1,000 回実行する意味はない（1 回でも結果は同じ）ということは理解されているでしょうか？

Comments

[moko]

お世話になっております。回答ありがとうございます。「これはできないのでとりあえずコメントアウト」
とありますが、pictureBoxに表示する処理も繰り返し行いたいのです。
コメントアウトをはずすと「System.ArgumentException: '使用されたパラメーターが有効ではありません。」
というエラーがでるためできないと仰っていますでしょうか？

[len_souko]

質問者さん、僕が質問へのコメント（2023/01/12 02:09）で貼ったリンクは見ていませんよね？
見てたら試したこと①にて55行目に書いてるはずありませんので

Disposeの際にBitmapイメージの実メモリを開放してしまうので、まだPictureBoxで使用中だから解放できないとなっているはずです
ループで開放すべきはpicではなく１週前のpicが入っている代入前のpictureBox1.Imageです

順番的には古いpicをpictureBox1.Imageから取得する
新しいpicをpictureBox1.Imageに代入する
取得しておいた古いpicをnullでない場合にDisposeする

追加の参照先
https://atsukanrock.hatenablog.com/entry/20110421/1303381271
こちらでは新しいpicを代入前に直接pictureBox1.ImageをDisposeすると例外が発生することがあるとの事