Python、MeCAbを用いた文書間類似度の計算結果から、データを整理する方法

Question

プログラミング超初心者です。
現在、アンケート結果の大量の単文書（例:これがかっこいいと思います。/私はこれが好きです。等）の文書間類似度を計算するために以下のような、システムをネットなどの情報からpythonで作りました。現状、Excelデータ(.csv)から形態素解析、名詞の取り出しおよびTF-IDF法による重みづけ、文書ベクトルの作成、それらのcos類似度の計算まで、なんとか出力されるようになりました。

import pandas as pd
import MeCab as mc
from time import sleep
import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer
import itertools
import openpyxl

##関数定義
#step1:テキストデータをデータフレームとして読み込む
def get_text():
    text_list=""
    csv_input=pd.read_csv(filepath_or_buffer="C:\Users\lklng\OneDrive\デスクトップ\test2.csv",
                          encoding="utf_8",sep=',',engine="python")
    text_list=csv_input["発話内容"].values
    # 指定したカラムだけ抽出したDataFrameオブジェクトを返却します。#値を二次元配列形式?で返却します。
    #返却される型は、numpy.ndarray #行インデックス、カラムインデックスの順番で指定して項目の値を取得できます。
    return text_list

# Step2：それらをMeCabで形態素解析。名詞だけ抽出。
def mplg(text_list):
    word_list=""
    m=mc.Tagger("-Ochasen")
    m1=m.parse(text)
    for row in m1.split("\n"):
        word=row.split("\t")[0]#タブ区切りになっている１つ目を取り出す。ここには形態素が格納されている
        if word=="EOS":#EOS は end of sentence で文末
            break
        else:
            pos=row.split("\t")[3]#タブ区切りになっている4つ目を取り出す。ここには品詞が格納されている
            slice=pos[:2]
            if slice=="名詞":
                word_list=word_list+" "+word
    return word_list

#step3:文書ベクトル化関数
def tfidf(word_list):
    docs=np.array(word_list)#Numpyの配列に変換
    #単語をベクトル化して、TF-IDFを計算する
    vectorizer=TfidfVectorizer(
                       token_pattern=u'(?u)\b\w+\b'#文字列長が 1 の単語を処理対象に含めることを意味します。
                       ).fit_transform(docs) #fit_transform:BagofWords(単語の出現回数)へ:fit(変換式の計算)とtransform(データの変換)を同時に
    vecs=vectorizer.toarray()
    return vecs

#step4:類似度行列作成
def cossim(v1,v2):
    #二つのベクトルの内積をそれぞれのL2ノルムで割る
    return np.dot(v1,v2) / (np.linalg.norm(v1) * np.linalg.norm(v2))

#step5:表組の関数作成
def df(list):
    return  pd.DataFrame(list)#,columns=[],index=[])

##実装
#1.関数get_textでExcelから文章を習得。関数mplgで形態素解析、名詞の抽出。リストword_listへ格納
word_list=[]
texts=get_text()#get_text
for text in texts:
    word_list.append(mplg(text))

#2.関数tfidfで単語の重みづけ、文書ベクトル化
vecs_list=tfidf(word_list)

#3.リストvecs_pairへ、リストvecs_list内の全ベクトルのペアをリスト([[1,2,3],[1,2,3]],[[2,3,4],[2,3,4]]形式)として格納
vecs_pair = []
for pair in itertools.combinations(vecs_list,2):
        vecs_pair.append(list(pair)) #タプルをリスト型に変換

#4.関数 cossim(v1,v2)で、リストvecs_pairの全要素のcos類似度を計算(0<cos類似度<1)し、リストcos_simへリスト形式で格納
cos_sim = []
for vecs in vecs_pair:
    cos_sim.append(cossim(vecs[1],vecs[0]))
print(cos_sim)

前提・実現したいこと

データ整理のために、以下の3点の方法がわからず困っています。
①形態素解析の結果から取り出された名詞とその出現数の獲得
②各文書と各単語の出現の有無（1/0）、および重みづけの結果の表形式での出力
③各文書間のcos類似度計算結果の表形式での出力

###①形態素解析の結果から取り出された名詞とその出現数の獲得
→出力されたword_listから以下のような手続きで、出現単語とその回数を獲得しようとした結果、単語リストの数がカウントされてしまいました。[(私,6),(猫,3),(犬,3),...]のように名詞の数をカウントするためにはどうすればよいでしょうか…

print(word_list)
#出力結果：[' 私 猫 好き' ' 私 猫 嫌い' ' 私 犬 好き' ' 私 猿 嫌い' ' 私 犬 猫 嫌い' ' 私 犬 猿 嫌い']

#出現単語数のカウント
from sklearn.feature_extraction.text import CountVectorizer
word_list=np.array(word_list)# bow ( bag of words )

date=word_list
import collections
counter = collections.Counter(date)
d = counter.most_common()
print(d)
#出力結果：[(' 私 猫 好き', 1), (' 私 猫 嫌い', 1), (' 私 犬 好き', 1), (' 私 猿 嫌い', 1), (' 私 犬 猫 嫌い', 1), (' 私 犬 猿 嫌い', 1)]

②各文書と各単語の出現の有無（1/0）、および重みづけの結果の表形式での出力

→各文書と各単語の関係性を把握するために、出現の有無およびに重みづけの結果を以下のように表形式で出力したのですが、インデックス名を出現単語にする方法がわかりません…

# CountVectorizer:出現した単語を純粋にカウントします。
count=CountVectorizer(token_pattern=u'(?u)\b\w+\b'#文字列長が 1 の単語を処理対象に含めることを意味します。
                            )
# ベクトル化
vec_count=count.fit_transform(word_list)#fit_transform:fit(変換式の計算)とtransform(データの変換)を同時に
#bags=vec_count.transform(word_list)
print(df(vec_count.toarray()))#表組
#出力結果：
 　0  1  2  3  4  5
0  1  0  0  1  0  1
1  0  1  0  1  0  1
2  1  0  1  0  0  1
3  0  1  0  0  1  1
4  0  1  1  1  0  1
5  0  1  1  0  1  1

#2.関数tfidfで単語の重みづけ、文書ベクトル化
vecs_list=tfidf(word_list)
DF=(df(vecs_list))#表組
print(DF)
#出力結果：
          0         1         2         3         4         5
0  0.706079  0.000000  0.000000  0.596120  0.000000  0.382222
1  0.000000  0.585039  0.000000  0.682719  0.000000  0.437749
2  0.706079  0.000000  0.596120  0.000000  0.000000  0.382222
3  0.000000  0.536798  0.000000  0.000000  0.741972  0.401653
4  0.000000  0.483172  0.563845  0.563845  0.000000  0.361528
5  0.000000  0.454912  0.530867  0.000000  0.628789  0.340383

③各文書間のcos類似度計算結果の表形式での出力

→　cos類似度の結果が、以下のように出力されました。
この結果から、各文書をインデックス、カラム名とした表形式にデータを整理する方法(どの文書間の類似度の結果なのかを把握する方法)が、もしあるのであれば知りたいです…

#4.関数 cossim(v1,v2)で、リストvecs_pairの全要素のcos類似度を計算(0<cos類似度<1)し、リストcos_simへリスト形式で格納
cos_sim = []
for vecs in vecs_pair:
    cos_sim.append(cossim(vecs[1],vecs[0]))
print(cos_sim)
#出力結果:[0.5532481675265583, 0.6618785905183029, 0.18594500912689635, 0.4677465477227333, 0.18594500912689635, 0.6009965462489593, 0.8454552137315114, 0.5532481675265583, 0.4677465477227333, 0.8454552137315114]

補足情報（FW/ツールのバージョンなど）

python.3.8.8 (default, Apr 13 2021, 15:08:03) [MSC v.1916 64 bit (AMD64)

以上、長いうえにわかりづらくて大変恐縮ですが、ご回答いただけると幸いです。

Comments

[8524ba23]

１つの質問あたりの解決したい問題数は少なくしたほうが回答得られやすいと思います。
また、今回の問題ではMeCab解析部分は不要そうなので
「word_list = [～]」で具体的なデータ例をセットした行から始まるコードを提示されると、第三者が実行、検証しやすくなります。

[hasegawahakase]

ご指摘、回答していただきありがあとうございます。要領を得ておらず、載せるべき部分がわからずこのような質問になってしまいました、、

Answer 1

①と②の前半のみの回答となります。

②についてですがCountVectorizer解析器自体が名称(get_feature_names)を持っているので、それを利用します。
②の後半（重みづけ）についても同様にできます。
参考：機械学習 〜 テキスト特徴量（CountVectorizer, TfidfVectorizer） 〜

import pandas as pd
import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer, CountVectorizer
pd.set_option('display.unicode.east_asian_width', True)

word_list = [' 私 猫 好き',' 私 猫 嫌い',' 私 犬 好き',' 私 猿 嫌い',' 私 犬 猫 嫌い',' 私 犬 猿 嫌い']


# ①形態素解析の結果から取り出された名詞とその出現数の獲得
words = []
for doc in word_list:
    words += doc.split()

import collections
counter = collections.Counter(words)
d = counter.most_common()
print(d) # [('私', 6), ('嫌い', 4), ('猫', 3), ('犬', 3), ('好き', 2), ('猿', 2)]


# ②各文書と各単語の出現の有無（1/0）

count = CountVectorizer(token_pattern=u'(?u)\b\w+\b')
vec_count = count.fit_transform(word_list)#fit_transform:fit(変換式の計算)とtransform(データの変換)を同時に

df = pd.DataFrame(vec_count.toarray(), columns=count.get_feature_names())
print(df)
"""
   好き  嫌い  犬  猫  猿  私
0     1     0   0   1   0   1
1     0     1   0   1   0   1
2     1     0   1   0   0   1
3     0     1   0   0   1   1
4     0     1   1   1   0   1
5     0     1   1   0   1   1
"""