検索エンジンの仕組みについて

Question

YahooやGoogleなどの検索エンジンに検索キーワードを入力するとその結果一覧が表示されますが、どういう仕組みで動いているんでしょうか？

一般にWebサイト(ホスト・ドメイン)へアクセスするときはDNSという仕組みでWebサイトを表示していると思いますが、それと同じ仕組みという認識で大丈夫でしょうか？

検索結果一覧の表示の仕組みについてググっても、イマイチ腑に落ちなかったので質問させていただきました。
何卒よろしくお願いします！

Answer 1

詳しくは知りませんが一般的な仕組みだと
googleのデータベースに全てのサイトの情報が登録されていて、検索した際にデータベースから引っ張ってきて表示しているだけです。
ただ、毎回DBから表示しているかというとそうでもなくて、DBの手前にキャッシュされたものが表示されていると思います。
その仕組を表示にはjavascriptを使用して恐ろしく高速化したり、OSレベルでチューニングして高速化を図っているようです。

また、ページランクアルゴリズムやランダムサーフィンアルゴルズムなどが基本的な検索エンジンの仕組みらしいです。
以下は僕がこの前読んだ本なのですが、第一章と第二章に検索エンジンの仕組みなどが書かれているので見て見てるといいかもしれません！
世界でもっとも強力な9のアルゴリズム

かなり分かりやすかったのでおすすめです！

Comments

[Pccla]

参考本まで載せていただいてありがとうございます！読んでみます。

Answer 2

DNSという仕組みでWebサイトを表示していると思います

検索サービスの仕組みとDNSはあんまり関係無いと思います。
DNSはサービスサイトのアドレスを人間にわかりやすい文字列で提供する仕組みです。
大雑把に、「216.58.○○○.○○○」がgoogleだって覚えるのが大変だから、「www.google.co.jp」で「216.58.○○○.○○○」にアクセスできるようにといったもの。
この置換表はWeb上のサーバ(DNS)にあるので、ブラウザで「www.google.co.jp」を要求するとまずDNSを参照して、そこで「216.58.○○○.○○○」が判明するので、そこにアクセスして...といった流れです。
確かに検索サービスにもこれを使ってアクセスしますが、本題とはずれていると思います。
「市役所のサービスには道路を車で走っていけばアクセスできると聞きましたが、不動産屋のサービスも同じ仕組み提供されているのでしょうか？」みたいな？

検索結果一覧の表示の仕組み

それで検索サービスも、上記のような手順でアクセスするとHTML加工されたデータが提供されるのでそれをブラウザが表示しています。
どうやって検索結果を作成しているかに関しては、「検索エンジンの仕組み」などで検索してみると色々HITすると思います。解りやすく纏まっていた所

Comments

[Pccla]

やはり認識がズレていたんですね。
もう少し調べてみようと思います。
ありがとうございます！

Answer 3

ある企業で検索エンジンを実装しているエンジニアです。

Google の検索エンジンの詳細は一般には公開されていません。（余談ですが、Google 社内では https://www.school.ctc-g.co.jp/columns/nakai2/nakai220.html などの仕組みでほとんどのコードは公開されているのですが、検索エンジンだけは社内でも一部の人しか見られないという噂です。）

そのためあくまでも推測になりますが、以下のような手順でユーザに「望ましい検索結果」を返しているはずです。

1. クエリと関連のあるページを見つける
2. 見つけたページをどの順番に表示するかを決める

効率的に・より望ましい結果を返すために、いずれのステップでも、世界トップクラスの・大勢のエンジニアが様々な工夫をしています。

• 関連のあるページをすばやく見つけられるよう、データを事前にうまく並べておく（例えば「転置インデックス」などが有名です）
• ページ自体の価値を見積もるために「ページランク」などのアルゴリズムを使う
• ユーザのプロフィールや過去のログからより良い検索の並びを決める（"Learning to Rank"と呼ばれます）

他にも関連する技術は多岐に渡りますが、一部は論文やブログとして公開されており、日本語の本としてはGoogleを支える技術という本が（少し古いですが）おすすめです。