何者かにWebサイトをクロールされた？

Question

先日、私が運営しているWebサイトで、ある日のある時間帯に不審なアクセスが急増していました。

Googleアナリティクスによるとユーザー数は100ほどで、属性は共通して以下のようになっています。
・チャネルはDirect(直接URLを打った？)
・地域はアメリカのある州のある場所のみ。
・ランディングページが、Webサイトのすべてのページに１回ずつ

つまり、1ページにつき1人がアクセスを行っていました。
私のWebサイトには100ほどページがあるので、100人がアクセスしたことになります。
(実際には一人であると考えられます)
いずれも滞在時間は0秒です。
これはGoogleによるクロールではありませんよね？

明らかに何かのツールを使っているようですが、Webサイトの全てのページを把握し、別のユーザーとしてアクセスする(クロールする)ということは一般ユーザーにも可能なのでしょうか？
またこのような事象はよくあるのか、目的としては何が考えられるのかをお聞きしたいです。

よろしくお願いします。

Answer 1

提供いただいた情報から、特徴的なことがあります。

一つは、そもそもGoogleアナリティクスで捕捉できるということは、JavaScriptを有効にしてアクセスしているということです。Gooble Botや、一般的なクローラーはJavaScriptをアクセスしませんので、クローラーだとすると、ヘッドレスブラウザなどを用いてスクレイピングしていることになります。

もう一つは、クッキーを無効化していると思われる点です。ヘッドレスブラウザを用いてクッキーを有効していると、ユーサー数は 1 とカウントされるはずだからです。

明らかに何かのツールを使っているようですが、Webサイトの全てのページを把握し、別のユーザーとしてアクセスする(クロールする)ということは一般ユーザーにも可能なのでしょうか？

可能です。クローリングというのものは、そもそもすべてのページを把握するために行うものです。その方法、クローリングの開始ページからリンクをたどることを繰り返し行います。どこからもリンクされていないページはこの方法ではたどれませんが、それは仕方ないでしょう。「別のユーザーとして」というのは、クッキーが処理されてないか、クッキーを無効化したために起こります。こちらは、珍しくなく、クローリングは通常はクッキーを処理しないと思います。

またこのような事象はよくあるのか、目的としては何が考えられるのかをお聞きしたいです。

よくあるでしょうね。私自身さまざまなクローラーを走らせて情報収集をしています。意図の例としては、「世の中で使われているjQueryのバージョンを調べる」などがあります。これはあくまで例です。
今回のクローラーの意図はまったく分かりません。さまざまな意図がありえるからです。

インターネットではよくあることなので気にしないでよいのでは、というのが結論です。

Comments

[mobumobu]

非常に詳しい回答ありがとうございました。一般ユーザーがクローラーを使用することもあるのですね！
どうやら情報収集のためという可能性が高いようです。こればかりは防ぎようがないので、あまり気にしないようにいたします。

Answer 2

明らかに何かのツールを使っているようですが、Webサイトの全てのページを把握し、別のユーザーとしてアクセスする(クロールする)ということは一般ユーザーにも可能なのでしょうか？

google にインデックスされたページであれば可能です。

またこのような事象はよくあるのか、目的としては何が考えられるのかをお聞きしたいです。

よくあるとまでは言えませんが、まったくないとも言えない程度の頻度で発生します。目的はアクセス者にしか分かりません。

Comments

[mobumobu]

たしかに、Googleで:siteオプションを付ければ簡単に全ページ把握することはできますね！
回答ありがとうございました！

Answer 3

これはGoogleによるクロールではありませんよね？

生のアクセスログを見ればわかる話ですよ。
レンタルサーバーのコントロールパネルなど管理画面から
どこかしらにアクセスログが見られる機能が備わっているはずです。

アクセスログにuser-agentも記録されていれば、
どこかの検索エンジンであれば
「user-agent 一覧」などと検索して辿れるページにまとめられているような
痕跡を残します。
また、botやクローラーだとしてもふつうのwebブラウザのふりして
アクセスする場合もあります。

Comments

[mobumobu]

回答ありがとうございました！