nltkのbleuスコアの使い方

Question

概略

2つの文章を、bleuで評価して類似度を算出したいです。
エラーではないのですが、思うように結果が得られません。

実際の出力値

5.238101011110965e-78

該当のソースコード

from nltk import word_tokenize
from nltk import bleu_score

#参照文
references = 'I have a pen and apple'
ref = [word_tokenize(references)]
#仮定文
hypothesis = 'I have a pineapple'
hyp = word_tokenize(hypothesis)
#計算
bleuscore = bleu_score.sentence_bleu(ref, hyp)
#出力
print(bleuscore)

問題点

あまりにも小さい数値になり、
なにか間違っているのではないかと思うのですが
原因がわかりませんでした。
そもそも、この出力値は5.238(略)×10の-78乗という認識であっていますか？
ご教授お願い致します。

補足ーnltk環境の構築手順

pipでnltkをインストールした後、

nltk.download('punkt')

を実行しました。

Answer 1

nltkの公式ページによると、bleu_score.sentence_bleuはデフォルトで連続4単語が一致している同士での比較になっているようです。その条件に満たない場合は、0を出力します。質問者様の状況は0が出力されていますということです。この意味のwarningも出力されていたかと思います。

https://www.nltk.org/api/nltk.translate.html#nltk.translate.bleu_score.sentence_bleu

実際に、下記の修正コード1では、連続4単語一致させて比較したところ、正常に値が出力されます。

このデフォルト動作を変えるには、上記公式ページによると2通り方法があります。

• ウエイトを変える: 下記の修正コード2は連続3単語一致のウエイトにしました。
• SmoothingFunction（連続一致が少ない比較のウエイトをスムーズにつなげる）を使う: 下記の修正コード3です。

なお、結果はroundを使って小数3位くらいまでとするのがよいでしょう。0がちゃんと0として出力できますので。

from nltk import word_tokenize
from nltk import bleu_score

# 元コード
references = 'I have a pen and apple'
ref = [word_tokenize(references)]
hypothesis = 'I have a pineapple'
hyp = word_tokenize(hypothesis)
bleuscore = bleu_score.sentence_bleu(ref, hyp)
print(bleuscore)
#/bleu_score.py:516: UserWarning: 
#The hypothesis contains 0 counts of 4-gram overlaps.
#Therefore the BLEU score evaluates to 0, independently of
#how many N-gram overlaps of lower order it contains.
#Consider using lower n-gram order or use SmoothingFunction()
#  warnings.warn(_msg)
#5.238101011110965e-78

# 修正コード1: 連続4単語が一致している場合は値が出力される
references = 'I have a pen and apple'
ref = [word_tokenize(references)]
hypothesis = 'I have a pen and pineapple'
hyp = word_tokenize(hypothesis)
bleuscore = bleu_score.sentence_bleu(ref, hyp)
print(bleuscore)
#0.7598356856515925

# 修正コード2: using lower n-gram order
references = 'I have a pen and apple'
ref = [word_tokenize(references)]
hypothesis = 'I have a pineapple'
hyp = word_tokenize(hypothesis)
bleuscore = bleu_score.sentence_bleu(ref, hyp, (1./3., 1./3., 1./3.))
print(bleuscore)
#0.3820903727892856

# 修正コード3: use SmoothingFunction()
references = 'I have a pen and apple'
ref = [word_tokenize(references)]
hypothesis = 'I have a pineapple'
hyp = word_tokenize(hypothesis)
bleuscore = bleu_score.sentence_bleu(ref, hyp, smoothing_function=bleu_score.SmoothingFunction().method1)
print(bleuscore)
#0.24117803988461298

Comments

[omugi]

自分なりに調べて、比較には4単語以上必要という持論を展開していましたが、4”連続”だったのですね。
解決することができました。丁寧なコードまでありがとうございました。