レコメンドの実装について

Question

「この本を買った人はこんな本も買っています」などのレコメンデーションに興味があり、実装してみたいと思うのですが、数多くのサイトではどのようにユーザー行動履歴の収集＆レコメンドの実装をしているのでしょうか？

また、Apache Mahoutとという機械学習フレームワークがありましたが利用経験がある方の意見なども聞きたいです。

Answer 1

はじめまして。知人から紹介され来ました。

私は日次アクセス数が数十億規模のサービスでレコメンド含む各種機械学習活用した開発をしているのですが、
各行動履歴等のログデータは全て HDFSに集約されるようにし、レコメンドアルゴリズムは独自にJava MapReduce等の分散実装を書くことが多いです。

全てのログをHadoopに集約する形にしているのは、ログ探索・収集に関するコストを減らすため (詳細)。
そして、独自に実装しているのは、提供したい体験がありそれに適切なアルゴリズムを設計・実装するためです。

最終的に提供したいのは体験なので、役割として、体験の設計〜洗練サイクル設計・ログ設計・分散アルゴリズム設計・実装、等の一連を担う形で進めています (詳細)。
その中で、提供したいと体験が、既存のアルゴリズム実装だけで実現できることはまずなく、また、ユーザの反応に応じて、アルゴリズムを早いサイクル洗練していきたいため、小回りが利く、独自実装をしています。

Mahout に関して、足回り系のところは便利なので用いています。
また、協調フィルタ等をクイックに試したい場合には、taste の RecommenderJob が JobDriver になっているので、まず気軽に実行し試してみるとよいかと思います。

• Mahout taste RecommenderJob
• 実行方法参考 (※少し前の資料なので現状の正確なOption等の実行詳細は上記クラスを参照してください)

Answer 2

自分もレコメンドエンジンは作ったことはないですが興味があって勉強中です。

調べたところ、一般的にはベイズの定理という確率の計算方法(？)を使ったり、
それを独自に発展させたものを使ってるんじゃないかと思います。

手元の書籍によるとはてなはナイーブベイズという方法で記事のカテゴリ分けしてるらしいです。

レコメンドエンジンがどういう実装をしているかは「この記事」が結構勉強になると思います。

ベイズの定理は「AがBカテゴリに属す確率」とか、
「Aを買った人がBを買う確率」とかを出せるので、
Aを中心にいろいろなものに対して確率計算して一番高いものを使う感じです。

計算方法は、
P(B|A) = P(A|B) * P(B) / P(A)
です。

Comments

[suzumi]

調べてみると独自の計算をバッチ処理などでレコメンドデータを作成する手もあるそうですが、OSSを使うのであれば、rubyで作られたレコメンドエンジン「Recommendify」というものがありました。
本格的なレコメンドには「Apache Mahout」が良いとあったのでこちらを勉強してみることにします。
ご回答ありがとうございました。