結果をベクトルから行列に変換するときに数字の値が変わる理由がわからない

Question

結果をベクトルから行列に変換するときに数字の値が変わる理由がわかりません。
http://www.yoheim.net/blog.php?q=20160313
のサイトを参考にレコメンドシステムを作っています。

import numpy as np
from scipy.spatial.distance import cosine
from scipy.spatial.distance import pdist
from scipy.spatial.distance import squareform

x = np.array([
    [1,1,1,0,0,0],
    [1,1,0,0,0,0],
    [0,0,1,0,1,0],
    [0,0,1,1,1,0],
    [0,1,1,0,0,0],
    [1,1,0,1,1,0],
    [1,0,1,0,0,0],
    [0,0,0,0,0,1]
])

#列に変換
#print(x.T[0])
#print(x.T[1])

#コサイン類似度
item1 = x.T[0]
item2 = x.T[1]
sim = 1 - cosine(item1, item2)

#全てのアイテムのコサイン類似度
# アイテムを行に、ユーザーを列に転置する
x = x.T
# 行ごと（=つまりアイテムごと）の距離を計算する
d = pdist(x, 'cosine')
print(d)

# 「類似度 = 1 - 距離」
d = 1 - d

#結果をベクトルから行列に変換
d = squareform(d)
print(d)

とコードを書き実行すると

# 行ごと（=つまりアイテムごと）の距離を計算する
d = pdist(x, 'cosine')
print(d)

では

[ 0.25        0.5527864   0.64644661  0.71132487  1.          0.5527864

  0.64644661  0.71132487  1.          0.68377223  0.48360222  1.

  0.18350342  1.          1.        ]

と出力され、

#結果をベクトルから行列に変換
d = squareform(d)
print(d)

では

[[ 0.          0.75        0.4472136   0.35355339  0.28867513  0.        ]

 [ 0.75        0.          0.4472136   0.35355339  0.28867513  0.        ]

 [ 0.4472136   0.4472136   0.          0.31622777  0.51639778  0.        ]

 [ 0.35355339  0.35355339  0.31622777  0.          0.81649658  0.        ]

 [ 0.28867513  0.28867513  0.51639778  0.81649658  0.          0.        ]

 [ 0.          0.          0.          0.          0.          0.        ]]

と出力されました。
なぜ、結果をベクトルから行列に変換するときに数字の値が変わるのでしょうか？そして、行列に変換するときには数字の値も増えている理由もわかりません。なぜなのでしょうか？

Answer 1

簡単な例（４個の要素の一般的な距離）で説明します。

pdistで、４個のうち２間の距離が求まります。
４個のうち２個の組み合わせで、計６個の距離が求まります。
これは、４×４の表の右上三角部分が求まったことになります。

squareformで、右上三角部分から、距離行列が求まります。
これにより、対角線で対象な値が左下三角部分に入ることになります。

import numpy as np
from scipy.spatial.distance import cosine
from scipy.spatial.distance import pdist
from scipy.spatial.distance import squareform

# A～D：４個の要素
x = np.array([[1],[5],[10],[20]]) # A, B, C, D
print(x.shape)
print(x)

# ４個のうち２個の距離を求める
# ３＋２＋１＝６通り
d = pdist(x)
print(d.shape)
print(d)

# 以下のように、右上三角部分が求まる
#    A  B  C  D
# A  0  4  9 19
# B  0  0  5 15
# C  0  0  0 10
# D  0  0  0  0

# 距離行列＝対角線対象な行列ができる
d = squareform(d)
print(d.shape)
print(d)

#    A  B  C  D
# A  0  4  9 19
# B  4  0  5 15
# C  9  5  0 10
# D 19 15 10  0

結果

(4, 1)
[[ 1]
 [ 5]
 [10]
 [20]]
(6,)
[  4.   9.  19.   5.  15.  10.]
(4, 4)
[[  0.   4.   9.  19.]
 [  4.   0.   5.  15.]
 [  9.   5.   0.  10.]
 [ 19.  15.  10.   0.]]

提示した例では、d = 1 - dの結果もprint(d)してみると理解しやすいかと思います。