pythonで全てのデータの類似度を算出する

Question

プログラム初心者です。
pythonで3000近くある.txtデータの中に入っているテキストデータの類似度を算出したいです。
いくつかのデータから類似度を算出することはできたのですが、多くのデータを扱うときはどのようにするのが良いのでしょうか…？
全てのデータから2通りを選ぶ全組み合わせを獲得し、全てのペアの類似度の算出を行いたいです。
ご協力をおねがいします。

# -*-coding: utf-8 -*-
import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
from sklearn.feature_extraction.text import TfidfTransformer

from  janome.tokenizer import Tokenizer

filenames=['output/aa0001.txt','output/aa0002.txt','output/aa0003.txt','output/aa0004.txt','output/aa0005.txt']
wakati_list = []
for filename in filenames: 
    with open(filename,mode='r',encoding = 'utf-8-sig') as f:
        text = f.read()    
    wakati = ''
    t = Tokenizer() 
    for token in t.tokenize(text):  
        hinshi = (token.part_of_speech).split(',')[0]  
        hinshi_2 = (token.part_of_speech).split(',')[1]
        if hinshi in ['名詞']:  
            if not hinshi_2 in ['空白','*']:  
                word = str(token).split()[0]  
                if not ',*,' in word:
                    wakati = wakati + word +' ' 

    wakati_list.append(wakati) 
wakati_list_np = np.array(wakati_list)

vectorizer = TfidfVectorizer(token_pattern=u'\b\w+\b')
transformer = TfidfTransformer()
tf = vectorizer.fit_transform(wakati_list_np) 

tfidf = transformer.fit_transform(tf) # TF-IDF

tfidf_array = tfidf.toarray()
cs = cosine_similarity(tfidf_array,tfidf_array)  
print(cs)

Answer 1

以下のコードを参考にして、ご自身のコードを作ってください。

>>> from itertools import combinations
>>>
>>> filelist = ['short.txt', 'longlong.txt', 'longlonglong.txt']
>>>
>>> def compare(file1, file2):
...     if len(file1) > len(file2):
...         print(f'"{file1}" is longer than "{file2}"')
...     else:
...         print(f'"{file2}" is longer than "{file1}"')
...
>>> for file1, file2 in combinations(filelist, 2):
...     compare(file1, file2)
...
"longlong.txt" is longer than "short.txt"
"longlonglong.txt" is longer than "short.txt"
"longlonglong.txt" is longer than "longlong.txt"

Comments

[abba2310]

参考にしながら一度取り組んでみます！
ありがとうございます！