検索エンジンのクローラー

Question

検索エンジンのクローラーを作りたいのですか
どこから始めたら行いいのか分からなくて質問しに来ました
検索エンジンのクローラーの仕組みとどこからweb情報収集するのか詳しく教えてください。

Comments

[退会済みユーザー]

逆に聞くけど、あなたはインターネットの何を知っているの？ HTTPプロトコルについて説明できる？ どうやってwebブラウザはサイト上のコンテンツを表示できるようにしていると考えている？ 自分なりの言葉でいいから、質問文に追記してみてほしい。それによって、回答する側も教えやすくなるので。

[kei344]

30分で退会とか。

[miyabi_pudding]

質問修正とかしてもらってつきつめて回答出てほしかった・・・。
超個人的にはもったいない質問・・・。

Answer 1

以下、自分の知見と一部想像での回答です。
実際の元とは異なる場合があります。

そもそも、検索エンジンというのは、2種類に分けられます。

• ディレクトリ型
• ロボット型

今回、質問者さんが知りたいのは後者だと思います。

ロボット型で今現在開発が行われている検索エンジンは4つあります。
（これで、シェアの大半を占めているはずです。

• bing
• Google
• Baidu
• DuckDuckGo

しかし、残念ながらこれのいずれもソースコードは公開されていません。
色々理由はあると思いますが、主な要因は「サイト作成者が対策できるから」だと思います。

ということで、基本的には質問者さんの独自路線での開発を行わなければなりません。
（「基本的には」というのは、一部、Googleなどが検索上位に来る指針等を公開しているのでそれを元にすれば楽かもしれません。

まずは、サイトからワードを拾ってこなければいけません。
そのワードの基準も難しいですが、基本的にはh__n__タグから取得すれば、ある程度は行けると思います。
あとは、形態素解析を行なって、URLと紐付けを行ったり、定期的にクロールすればいいと思います。

次に、どのように解析対象を増やしていくか。
これは、ページ内に張り付いているリンクをひたすら解析し、そのリンク先に張り付いているリンクを解析していく。という手法が現実的だと思われます。

そして順位は、Google等が公開している指針をもとにすると、かなり完成度は高くなると思います。

ただ、1番最初に書きましたが、私の知見と一部想像での回答なので、実際と異なる場合があります。
もしなにかありましたら、ご指摘くださいますとありがたいです。

Comments

[kyoya0819]

ディレクトリ型だとYahoo!キッズとかありますね。

[kyoya0819]

語句の修正を行いました。
（Gboard不安定すぎて打ちづらい。。