Node.jsでテキスト解析

Question

###前提・実現したいこと
初めての投稿です。
よろしくお願いします。

日本語文字列を含むテキストを解析して自動的にカテゴライズするための仕組みを趣味で作りたいと思っています。
こちらやこちらを参考に、npmのパッケージ baysとmecab-async用いて同一のスクリプト内でカテゴライズできることは確認できたのですが、学習用データが膨大なため、モデルデータとして予めjson形式でエクスポートしておき、別のスクリプトでそのjsonファイルを使ってカテゴライズしたいと考えています。

classifier.learn(text, category)

で学習させた後、

var stateJson = classifier.toJson()

のstateJsonをテキスト出力し、
別のスクリプトで

var jsonFile = fs.readFileSync('./model.json', 'utf8')
var revivedClassifier = bayes.fromJson(jsonFile)

としたところで、一体、revivedClassifierをどう使えば日本語文字列をカテゴライズできるのかいまいち分からず、行き詰まってしまいました。
ご教示願います。

Answer 1

参考元の２つのURLでほぼ理解できると思いますが？

revivedClassifierは、学習結果のjsonから生成したclassifierで、revivedClassifier.categorize()すればカテゴライズします。

//ベイジアンフィルタ for Node.js
// モジュール
var bayes = require('bayes');
var Mecab = require('mecab-lite');
mecab = new Mecab();
mecab.MECAB = '"C:\Program Files (x86)\Mecab\bin\mecab"';
mecab.ENCODING = 'UTF-8';
var fs = require('fs');

// 判定するワード
var word1 = 'ファッションチェック';
var word2 = '映画専門誌「キネマ旬報」などに寄稿';
var word3 = '物まねネタ・ヒーコで再ブレイク';

var classifier = null;

// 学習jsonファイルチェック
fs.access('learned.json', err => {
  if (err) {
    // なければclassifierインスタンス生成し、学習
    classifier = bayes({
      tokenizer: function (text) {
        return mecab.wakatigakiSync(text);
      }
    });
    learn();
  } else {
    // 学習jsonがあれば、学習jsonからclassifierを生成
    var json = fs.readFileSync('learned.json');
    classifier = bayes.fromJson(json);
    // カテゴライズ
    categorizeStart();
  }
});

function learn() {
  //学習情報　wikiから取得した内容
  var text1 = '長いので略';
  var text2 = '長いので略';
  var name1 = 'おすぎ';
  var name2 = 'ピーコ';

  //学習させる
  classifier.learn(text1, name1);
  classifier.learn(text2, name2);
  
  // 学習結果を保存
  var stateJson = classifier.toJson();
  fs.writeFile('learned.json', stateJson);

//カテゴライズ
  categorizeStart();
}


function categorizeStart() {
  //判定させる
  categorize(word1);
  categorize(word2);
  categorize(word3);
}

//判定結果
function categorize(text) {
  var r = classifier.categorize(text);
  console.log(text + "は" + r);
}

Comments

[matusmon]

ありがとうございます。
確かに、jsonからclassifierインスタンスを作ることでカテゴライズ可能でした。

ということは、 classifier.categorize(text) でカテゴライズするtextは、分かち書きされていない状態で渡される、という認識で合っているでしょうか。

[turbgraphics200]

ええ、そうでしょう

[matusmon]

bayes/lib/naive_bayes.jsのソースを見ると、categorizeの処理の中で、tokenを作るためにdefaultTokenizerの中で文字列の整形処理を行っているように見えます。
その際に、正規表現で日本語文字列等はスペース文字に置換されてしまっていて、期待通りの結果が得られません。
jsonからclassifierインスタンスを作るときに、どのようにしたらtokenizerのオプションを使うことができるのでしょうか。
もしくは、naive_bayes.jsを改造するしか無いのでしょうか。

[takashikawai]

naive_bayes.jsを改造したらうまくいきました。

/**
* Given an input string, tokenize it into an array of word tokens.
* This is the default tokenization function used if user does not provide one in `options`.
*
* @param {String} text
* @return {Array}
*/
var defaultTokenizer = function (text) {
//remove punctuation from text - remove anything that isn't a word char or a space
//var rgxPunctuation = /[^(a-zA-ZA-Яa-я0-9_)+\s]/g

//var sanitized = text.replace(rgxPunctuation, ' ')

//return sanitized.split(/\s+/)
const TinySegmenter = require('tiny-segmenter');
const segmenter = new TinySegmenter();
return segmenter.segment(text);
}