C# HtmlAgilityPack.HtmlDocumentでの「System.OutOfMemoryException' の例外が mscorlib.dll で発生しました」について

Question

C#で、WebBrowserを使った簡単なアプリケーションを作成しています。

あるサイトのリンク先のページを次々に表示させ、内容をCSVにダウンロードしていくというものですが、リンク先のデータが大量になると、メモリ不足でエラーになってしまいます。

具体的には、表示させたURLのhtmlを、

HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
doc.OptionAutoCloseOnEnd = false;
doc.OptionCheckSyntax = false;
doc.OptionFixNestedTags = true;
doc.LoadHtml(webBrowser1.DocumentText);

このように読み込み、さらに読み込んだHTMLのテーブルの内容を、

HtmlAgilityPack.HtmlNodeCollection datas =
   doc.DocumentNode.SelectNodes(@"//table/tbody/tr");

このように読み込み、

foreach (HtmlAgilityPack.HtmlNode datain datas)
{

    HtmlAgilityPack.HtmlDocument tmp = new HtmlAgilityPack.HtmlDocument();
    tmp.LoadHtml(item.InnerHtml.ToString()); - ①

    HtmlAgilityPack.HtmlNodeCollection tds = tmp.DocumentNode.SelectNodes(@"//td");

    (ここで読み込んだデータをファイル出力する。)

}

読み込んだデータをノードの数分、このようにループさせているのですが、だいたい8000行ぐらいループすると、「型 'System.OutOfMemoryException' の例外が mscorlib.dll で発生しましたが、ユーザー コード内ではハンドルされませんでした。」というエラーが出ます。

一体このエラーは何なのでしょう？

このような状態なのですが、一体何をどうしたらいいのかという感じです。

一番怪しいのは、foreeachでループしている箇所ですが、何かいい改善策などはないものでしょうか？

Comments

[coco_bauer]

ループが実行されるたびに、tmp = new HtmlAgilityPack.HtmlDocument();で新しいオブジェクトが作らて、その分メモリの空きが減ります。ループ処理の終わりにtmpを解放して空きメモリを増やせば問題ありませんが、オブジェクトを作り続ければ、そのうち空きメモリが無い（OutOfMemory）になります。　tmpをはじめとするメモリの解放をしていないのが原因だと思われますが、コードが示されていないので推測の域を出ません。（そのため、回答では無くコメントに書きました）

Answer 1

foreach (HtmlAgilityPack.HtmlNode datain datas)
{
    ...
    (ここで読み込んだデータをファイル出力する。)
    tmp = null;
    GC.Collect();
}

だといかがでしょうか？

Comments

[GiveAHand]

hyper-drums-ko様

ご提案ありがとうございます。

試してみて、変化は出ました。
今までエラーが出ていた箇所で、メモリ不十分のエラーが出なくなったので。

ただ、同じ関数内の別の場所でメモリ不足のエラーが出てしまい、また、診断ツールのプロセスメモリの値も、目で見る限り変わっていない(1G)ので、本当に効果があるのかどうかがわからないという感じです。。。