Webクロールの頻度について

Question

特定のサイトに対して、定期的にアクセスしたいと思っています。
そこで、robots.txtにを参考にしましたが、頻度に関する記述は無く困っています。
頻度はどの程度がいいでしょうか？皆さんの意見を教えてください
今は15秒に一度を24時間で動作させています。

        async Task<string> GetHttp(string url)
        {
            Console.WriteLine("HttpGet");
            using (HttpClientHandler handler = new HttpClientHandler())
            {
                handler.AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate;

                using (var http = new HttpClient(handler))
                {
                    http.DefaultRequestHeaders.Add("User-Agent", "CrawlBOT ");
                    var response = await http.GetAsync(url);
                    return await response.Content.ReadAsStringAsync();
                }
            };
        }

Comments

[Zuishin]

一日に一度くらいでいいでしょう。

[退会済みユーザー]

15秒一度では早すぎますか？1日に5500回ぐらいです。
攻撃と間違われないか心配です。
Zuishinさんの言う通り、頻度をかなり落としたほうがいいでしょうか？

[Zuishin]

サイトによりますが、攻撃とみなされる可能性はあります。頻度は可能な限り落とすのがいいと思いますが、目的によっては上げなくてはならないこともあるでしょう。それ以前にスクレイピングが許されるかどうか規約などを確認してください。

[退会済みユーザー]

わかりました、利用規約を読んでみます。回答ありがとうございました。

[m.ts10806]

頻度どころかそもそもそういうアクセスを禁止している可能性もあるので、
面倒なことにしたくなければなるべくそのサイトで提供されているAPIを使いましょう。
なければ諦めましょう。ダメなものはダメです。

[退会済みユーザー]

クローラを作ってアクセスしたら業務妨害とかで逮捕されたという事例もあります。特殊な例かもしれませんが注意した方がよさそうです。

Answer 1

怖いのでやめることにしました、できればrobots.txtに許容頻度も書いてほしいです。
皆様回答ありがとうございました。