C# client.GetStringAsync で例外が頻発します

Question

現在、C#を使って、スクレイピングをするアプリを作成しているのですが、

client.GetStringAsync の実行時に、
下記のような例外が頻発して起こります。

例外がスローされました:
'System.Threading.Tasks.TaskCanceledException' (mscorlib.dll の中)

また、発生するときとしないときがあり、
発生しないときは1プロセスの中で連続して処理を実行しても発生しません。

考えられる原因はありますでしょうか？

ソースコードと環境は下記になります。
ご教示いただけますと幸いです。

フレームワーク
.Net FrameWork4.5.2
IDE
Visual Studio 2017
OS
Win7 64bit

	 static public void Main()
    {
        Scraper scraper = new Scraper();
        Task task = scraper.testExec();
        task.Wait();
    }

    public async Task testExec()
    {
        for (int k = 0; k < 100; k++)
        {
            Debug.WriteLine(k);

            string html = await getHTML("http://example.com/");
            ConvertDataTableToCsv(html);
            string data = this.getContents(html);
            System.Threading.Thread.Sleep(1000);
        }
    }

    public async Task<string> getHTML(string url)
    {
        string htmlText;

        using (HttpClient client = new HttpClient())
        {
            Uri uri = new Uri(url);

            client.DefaultRequestHeaders.Add(
                    "User-Agent",
            		  "Mozilla/5.0 (iPhone; U; CPU iPhone OS 5_1_1 like Mac OS X; en) AppleWebKit/534.46.0 (KHTML, like Gecko) CriOS/19.0.1084.60 Mobile/9B206 Safari/7534.48.3");

            client.DefaultRequestHeaders.Add("Accept-Language", "ja-JP");
            client.Timeout = TimeSpan.FromSeconds(1);

            try
            {
                htmlText = await client.GetStringAsync(uri);
                return htmlText;
            }
            catch (HttpRequestException e)
            {
                Exception ex = e;
                
                while (ex != null)
                {
                    ex = ex.InnerException;
                    Debug.WriteLine("例外メッセージ: {0} " + ex.Message);
                }
            }
            
            return null;
        }
    }

Answer 1

こんにちは。

ちょっと今検証できてないのでおそらくですが、、
client.Timeout = TimeSpan.FromSeconds(1);としているので、「GetStringAsyncの処理に1秒以上掛かったときにTaskがキャンセルされている」からだと思います。なんの目的でTimeoutを1secに設定しているのかが分からないのでなんともいえないですが、Timeout値を長くすれば今回のエラーはほぼ発生しなくなるはずです。まあちゃんとするなら、Timeoutの設定に関わらず「HttpClientのTaskはキャンセルされる可能性がある」という前提でコードを組むようにした方がいいです。

あと、質問とは関係ないのですが、HttpClientはIDisposableを実装しているくせにusing非推奨という曲者なので、2回以上呼ぶ可能性があるならメンバ変数化してしまうことをオススメします。
詳しくは以下の記事をどうぞ。
開発者を苦しめる.NETのHttpClientのバグと紛らわしいドキュメント - InfoQ

Answer 2

おっしゃるとおり、
client.Timeout = TimeSpan.FromSeconds(1);
をコメントアウトしたら例外が発生しなくなりました。
また、注意事項についてまでおしえていただきありがとうございます。