C# webBrowserを何度も呼び出していると発生する、try~catchで検出出来ない「次の行でメモリ不足になりました。」というエラーが起こる原因とは一体何なのでしょう？

C#であるサイトのスクレイピングをしています。

weBBrowserで繰り返しNavigateをしていると、どうしてもメモリ不足でエラーになってしまうため、インスタンス化して、Navigateを1回するたびにwebBriowserをnewするように作り変えたのですが、だいたい100回ぐらいnewすると、原因不明の「次の行でメモリ不足になりました。」というエラーメッセージが出てしまいます。

発生するエラーメッセージは、

これです。

原因となる処理の全てを、

C#
1try
2{
3}
4catch (System.Exception ex)
5{
6}

このように、囲んでいるのですが、引っかからないので、どこでエラーが発生しているのかがわかりません。

また、webBrowserのインスタンス化は、

WebBrowserコントロールによりWebページからリンクや画像を抽出するには？［2.0のみ、C#、VB］

このページにある、getlinks.csを使って、

C#
1foreach (string domain in domains)
2{
3    using (NonDispBrowser webBrowserNDV= new NonDispBrowser())
4    {
5        webBrowserNDV.NavigateAndWait(ref Result);
6    }
7}

このようにして繰り返しています。

webBrowserを繰り返し使うには、一体どうしたらいいのでしょう？

どうぞ、よろしくお願い致します。

行動規範の内容に同意します

回答1件

ベストアンサー

WebBrowser にメモリリークがあるようですね。

少し古い情報ですが、[.NET] WebBrowserをDisposeしても、メモリが開放されない件についてによると、COM が解放されていないのではないかということです。

ざっと調べたところ、どうしても WebBrowser を使わなければならないというのであれば、別プロセスにするか、AppDomain を切り離すということになりますが、速度的なデメリットは大きくなります。
WebBrowser を使わず、HttpClient を使うのが正攻法かと思います。

投稿2016/07/27 08:32

Zuishin

総合スコア28660

Zuishin

2016/07/27 08:34

libcurl のラッパーである CurlSharp というのもあるそうです。 https://github.com/masroore/CurlSharp

Zuishin

2016/07/27 08:38

HttpClient の使い方はこちらをご覧ください。 http://www.atmarkit.co.jp/ait/articles/1501/06/news086.html

GiveAHand

2016/07/27 08:38

Zuishin様なるほど。。。情報ありがとうございます。あと、出来ればもうひとつお聞きしたいのですが、スクレイピングの処理に、「ログイン」「クリック」などの動作が必要なのですが、 HTTP Clientは、そのような動作は可能なのでしょうか？出来れば、そのあたり詳しく書かれている本などでもあれば、教えて頂けますとありがたいのですが。。。

Zuishin

2016/07/27 08:41

こちらです。 https://www.google.co.jp/search?q=httpclient+%E3%83%AD%E3%82%B0%E3%82%A4%E3%83%B3

GiveAHand

2016/07/27 08:45

Zuishin様なるほど。。。いろいろとご親切にありがとうございました。いろいろやってみます！

Zuishin

2016/07/27 08:46

Html Agility Pack もお勧めです。スクレイピングならこれが一番楽だと思います。 http://www.atmarkit.co.jp/ait/articles/1501/27/news140.html

GiveAHand

2016/07/27 10:13

Zuishin様なるほど、そうなんですね！ありがとうございます！