3つ以上の文章の類似度を計算したいです

Question

前提・実現したいこと

こちらのサイト
https://qiita.com/yoppe/items/512c7c072d08c64afa7e
を参考に複数の文章の類似度を算出するプログラムを作成しようと思い、とりあえず3つ目の文章を追加したところ下記のようなエラーが出ました。

発生している問題・エラーメッセージ

ValueError: Input weights should be all non-negative

該当のソースコード

import gensim
import MeCab
import numpy as np
from scipy import spatial

mecab = MeCab.Tagger(" -Owakati")

# 文章で使用されている単語の特徴ベクトルの平均を算出
def avg_feature_vector(sentence, model, num_features):
    words = mecab.parse(sentence).replace(' \n', '').split() # mecabの分かち書きでは最後に改行(\n)が出力されてしまうため、除去
    feature_vec = np.zeros((num_features,), dtype="float32") # 特徴ベクトルの入れ物を初期化
    for word in words:
        feature_vec = np.add(feature_vec, model[word])
    if len(words) > 0:
        feature_vec = np.divide(feature_vec, len(words))
    return feature_vec

# 3つの文章の類似度を算出
def sentence_similarity(sentence_1, sentence_2 ,sentence_3):
    # 今回使うWord2Vecのモデルは300次元の特徴ベクトルで生成されているので、num_featuresも300に指定
    num_features=300
    sentence_1_avg_vector = avg_feature_vector(sentence_1, word2vec_model, num_features)
    sentence_2_avg_vector = avg_feature_vector(sentence_2, word2vec_model, num_features)
    sentence_3_avg_vector = avg_feature_vector(sentence_3, word2vec_model, num_features)
    # １からベクトル間の距離を引いてあげることで、コサイン類似度を計算
    return 1 - spatial.distance.cosine(sentence_1_avg_vector, sentence_2_avg_vector, sentence_3_avg_vector) 

result = sentence_similarity(
     "彼は昨日、激辛ラーメンを食べてお腹を壊した",
    "昨日、僕も激辛の中華料理を食べてお腹を壊した",
    "昨日、僕も激辛の麻婆豆腐を食べてお腹を壊した"
)
print(result)

試したこと

単純にsentence_3を追加するだけではダメなのでしょうか？

補足情報（FW/ツールのバージョンなど）

google colaboratoryにて実行しています。

Answer 1

https://docs.scipy.org/doc/scipy/reference/generated/scipy.spatial.distance.cosine.html
第3引数は要素に重みを与えるパラメータです。

Input weights should be all non-negative

とあるとおり負は指定できません。

---

「3つ以上の文章の類似度」は他人には伝わらないので定義してください。

Comments

[kan0203]

ありがとうございます、第3引数はそもそも文章を入れる部分じゃないんですね…
類似度というのは二つの文章を比較するものであって、3つ以上の文章を比較するというのは不可能なのでしょうか？

[quickquip]

不可能というか「こういうものを『3つ以上の文章の類似度』としよう」という概念が共有できてないです。

[quickquip]

用途や例があれば……

[kan0203]

そうですね、3つ同時は確かに変でした、すみません。
内容が変わってしまいますが、A,B,Cの3つの文章があるとしてAから見て、B,Cとの類似度、Bから見てA,Cの類似度、Cから見てA,Bの類似度というのはまとめて算出できたりしますでしょうか？

[quickquip]

素朴には
Aから見たB,Cとの類似度 => B-AベクトルとC-Aベクトルのコサイン類似度
と定義するんでしょうか。

そう定義して計算してみて、直感に合うかや、やりたいことができるかを試してみたらいいかと思います。

[kan0203]

貴重なご意見ありがとうございます。色々試してみたいと思います。
混乱させてしまい申し訳ございませんでした。