記事URLを入れると記事カテゴリを返す、ナイーブベイズを使った教師あり文書分類器ウェブアプリの実装

Question

###前提

• Python 3.5.2
• Django 1.10.2
• その他ライブラリは自由に使用可能。
• 教師あり文書分類器は自分で作成。

###質問概要
フォームから記事URLを入力して、入力された記事URLのHTMLを取得して、この記事の文書を元に記事カテゴリを判定し、そのカテゴリを画面に出力するWEBアプリケーションを作成したいですが、方法がわかりません。詳しい方、ご教示願います。

###質問内容
このアプリを完成させるための流れは以下のような流れだと考えています。

1. 教師データをスクレイピングしてcsvにカテゴリとテキストの内容を入れる。
2. python使ってcsvファイルのカテゴリとテキストの内容をdataframeで呼び込む。
3. 文書分類器を作成する。(参考：http://gihyo.jp/dev/serial/01/machine-learning/0003?page=1とhttp://aidiary.hatenablog.com/entry/20100613/1276389337)
4. そのdataframeから分類器を訓練させる。(具体的にどのように訓練させていいのかわからないです。)
5. djangoのアプリケーションに反映させる。(分類器のコードをどう反映させていいかわからないです。)

と考えています。

それぞれのご指摘or詳しいやり方or参考になるwebサイトを教えてください。
とくに分類器のコードをdjangoを利用してwebアプリケーション化して行くかがわかりません。

###試したこと

作成した分類器はこちらになります。これからhttp://aidiary.hatenablog.com/entry/20090415/1239802199を参考にして形態素解析していきたいと思っています。

#coding:utf-8
import math
import sys
from collections import defaultdict

class NaiveBayes:
    """Multinomial Naive Bayes"""
    """クラスの初期化"""
    def __init__(self):
        self.categories = set()     # カテゴリの集合
        self.vocabularies = set()   # ボキャブラリの集合
        self.wordcount = {}         # wordcount[cat][word] カテゴリでの単語の出現回数
        self.catcount = {}          # catcount[cat] カテゴリの出現回数(=総文章数)
        self.denominator = {}       # denominator[cat] P(word|cat)の分母の値
    

    def train(self, data):
        """ナイーブベイズ分類器の訓練"""
        # 文書集合からカテゴリを抽出して辞書を初期化
        print
        for d in data:
            cat = d[0]
            self.categories.add(cat)

        print "categories = ",self.categories
        print

        for cat in self.categories:
            #カテゴリでの単語の出現回数(int型)
            self.wordcount[cat] = defaultdict(int)
            #それぞれのカテゴリの出現回数を0にします。
            self.catcount[cat] = 0

        print "wordcount[cat] = ",self.wordcount[cat]
        print "catcount[cat] = ",self.catcount[cat]
        print
        print


        # 文書集合からカテゴリと単語をカウント

        for d in data:
            cat, doc = d[0], d[1:]
            self.catcount[cat] += 1
            print "catcount[",cat,"] = ",self.catcount[cat]
            print
            print "cat = ",d[0]
            print "doc = ",d[1:]
            print

            for word in doc:
                print "word = ",word
                self.vocabularies.add(word)
                print "vocabularies = ",self.vocabularies
                #カテゴリの中の出現回数に１追加します。
                self.wordcount[cat][word] += 1
                print "wordcount[",cat,"][",word,"] = ",self.wordcount[cat][word]
            print




        # 単語の条件付き確率の分母の値をあらかじめ一括計算しておく（高速化のため）
        for cat in self.categories:
            self.denominator[cat] = sum(self.wordcount[cat].values()) + len(self.vocabularies)
            print "self.denominator",[cat]," = ",sum(self.wordcount[cat].values()) + len(self.vocabularies)

        
    
    def classify(self, doc):
        """事後確率の対数 log(P(cat|doc)) がもっとも大きなカテゴリを返す"""
        best = None
        max = -sys.maxint
        for cat in self.catcount.keys():
            p = self.score(doc, cat)
            if p > max:
                max = p
                best = cat
        return best
    
    def wordProb(self, word, cat):
        """単語の条件付き確率 P(word|cat) を求める"""
        # ラプラススムージングを適用
        # wordcount[cat]はdefaultdict(int)なのでカテゴリに存在しなかった単語はデフォルトの0を返す
        # 分母はtrain()の最後で一括計算済み
        return float(self.wordcount[cat][word] + 1) / float(self.denominator[cat])
    
    def score(self, doc, cat):
        """文書が与えられたときのカテゴリの事後確率の対数 log(P(cat|doc)) を求める"""
        total = sum(self.catcount.values())  # 総文書数
        score = math.log(float(self.catcount[cat]) / total)  # log P(cat), catcount[cat]：記事数 ,total:総記事数
        for word in doc:
            # logをとるとかけ算は足し算になる
            score += math.log(self.wordProb(word, cat))  # log P(word|cat)
        return score
    
    def __str__(self):
        total = sum(self.catcount.values())  # 総文書数
        return "documents: %d, vocabularies: %d, categories: %d" % (total, len(self.vocabularies), len(self.categories))


if __name__ == "__main__":
    # Introduction to Information Retrieval 13.2の例題
    data = [["yes", "Chinese", "Beijing", "Chinese"],
            ["yes", "Chinese", "Chinese", "Shanghai"],
            ["yes", "Chinese", "Macao"],
            ["no", "Tokyo", "Japan", "Chinese"]]
    
    # ナイーブベイズ分類器を訓練
    nb = NaiveBayes() #ナイーブベイズクラスのオブジェクトを作成。
    nb.train(data)
    print nb
    print "P(Chinese|yes) = ", nb.wordProb("Chinese", "yes")
    print "P(Tokyo|yes) = ", nb.wordProb("Tokyo", "yes")
    print "P(Japan|yes) = ", nb.wordProb("Japan", "yes")
    print "P(Chinese|no) = ", nb.wordProb("Chinese", "no")
    print "P(Tokyo|no) = ", nb.wordProb("Tokyo", "no")
    print "P(Japan|no) = ", nb.wordProb("Japan", "no")
    
    # テストデータのカテゴリを予測
    test = ["Chinese", "Chinese", "Chinese", "Tokyo", "Japan"]
    print "log P(yes|test) =", nb.score(test, "yes")
    print "log P(no|test) =", nb.score(test, "no")
    print nb.classify(test)

本当に困っています。ご相談よろしくお願いします。よろしくお願いいたします。

Comments

[ikedas]

参考にされたという記事を見ましたが、あれだけ丁寧に説明してあるのに「どのように訓練させていいのかわからない」というのは解せません。まずは、説明してある通りのことをやってみてください。その結果つまづいたのなら、どこでつまづいたかを教えてください。