ログ管理の方法とデータベース作成(?)

Question

ログ管理のためにはどのような手法があるのかが気になり投票致しました.
例えばユーザの情報を保持させるときにはvarchar , int のような形で値をデータベースのテーブルに保存していくと思いますが, 例えばwebやFacebookなどで検索キーワードのログや検索結果のログ, 検索時刻などは非常に膨大になると思います.
これらを管理するためにどのような技術が使われているのでしょうか？
今回, Webではないのですが, このような非常に多くのログ情報はどのように保持され, 利用されるのでしょうか?
プログラミングで実際に組み上げる必要があるため具体的な答えが聞きたいです, どうかお願いいたします

Answer 1

ビッグデータとなりうる値を保持するのに、RDBは少々不安があります。
ですので、昨今ではNoSQLといったものを採用するサービスも増えています。
MongoDBなどは技術情報も増えてきているので試してみる価値はあるでしょう。
RDBと異なって、NoSQLは制限も少なくありません。

検索キーワードのログや検索結果のログ, 検索時刻

これらをただ登録するだけであればNoSQLは有効かと思います。

Answer 2

一口にログ管理と言いましても、それはなんのために実施するかによって方法は変わります。

Webでしたら、例えば次の様な物が考えられます。
0. 番号リスト訪問者のアクセス履歴などを記録し、後ほど分析することでマーケティングに生かしたい。
0. Webサーバーのログを常に保管し、負荷がかかる時間帯や頻度を調べることで、ハードウェアの構築を見直したい。
0. JOX法などで証跡を取ったり、情報漏洩対策などのセキュリティ関連

1番でしたら、例えば OSSのfluentdを利用して、自作のBIツールや、Treasure Dataへ保管してしまうという手があります。
2番でも似たような形で、例えば fluentd + ElasticSearch + Kibana といった代表的な組み合わせで、分析することが可能です。
3番の場合は、規模にもよりますが、商用ツールに任せてしまった方が良いと思います。
有名処としては、LanScope Cat、Logstorageなどがあります。

いずれにせよ、ログは管理し出すと膨大な量になり、今度はそれをどうやって生かすのか、悩まされる事になります。なので溜めるだけでなく、それを何に利用するのかまで考えてから、実施されることをお勧めします。