日本語の文章の類似度

Question

文章の類似度を表す指標としてBleuスコアがありますが、日本語の文章の類似度をはかることはできますか？pythonでコードを書き実行してみたのですが、英語の文章は上手くいき、日本語の文章はスコアが0.0と出ました。

Answer 1

原理的に大きな問題はないかと思います。

ただし日本語の場合は英語のように単語が分かち書きされていないので、形態素解析を行った上で計算するか、文字n-gramで定義するなどの工夫は必要だと思います。書いたコードがないのでなんともいえませんが、うまくいかなかったのならそのあたりに問題があるのではないでしょうか。