###やりたいこと
こちらを参考にして実装中のプログラムで作成したコーパスの類似度を求めようと思っているのですが、
サンプルコード内で
python
1#クエリを特徴ベクトルで表現 2query = [(0,1)(4,1)] 3 4#queryと類似するもの上位10件を出力 5print softed(enumerate(index[query]), reverse = True, key = lambda x:x[1])[:10]
というふうにクエリが表現されているのですが、
クエリのインデックス?部分([(0,1),(4,1)])の数字
がコーパスや辞書などのどの数字に対応しているのかを教えていただきたいです。
###実装中のコード
python
1#!/usr/bin/env python3 2# -*- coding: utf-8 -*- 3 4""" 5トピックモデル(入力:novel_setの全ての.txtファイル) 6各ファイルの管理可能 7形態素解析対象:名詞(代名詞,非自立名詞,数,固有名詞を除く) 8""" 9 10import time 11import glob 12import MeCab 13from gensim import corpora, models, similarities 14 15t0 = time.time() 16 17""" 18file_list[file_no]:ファイル番号file_noのファイル名 19""" 20file_list = glob.glob('novel_set/*.txt') 21 22#形態素解析(文字列を改行位置で区切って分割) 23mecab = MeCab.Tagger ("-Ochasen") 24 25texts = [] 26for file in file_list: 27 f = open(file, "r",encoding = "utf-8") 28 text = f.read() 29 f.close() 30 chunks = mecab.parse(text).splitlines() 31 32 #絞り込み 33 sels = [] 34 for chunk in chunks: 35 cols = chunk.split('\t') 36 if len(cols) >= 4: 37 parts = cols[3].split('-') 38 #指定した品詞で始まっている場合 → true 39 if parts[0].startswith('名詞'): 40 #代名詞,非自立名詞,固有名詞,数を含めない 41 if parts[1] in ['代名詞','非自立','固有名詞','数']: 42 continue 43 #形態素を追加 44 #sels:形態素(原形)のみの行列 45 sels.append(cols[2]) 46 texts.append(sels) 47 48dictionary = corpora.Dictionary(texts) 49corpus = [dictionary.doc2bow(text) for text in texts] 50 51index = similarities.docsim.SparseMatrixSimilarity(corpus,num_features = len(dictionary)) 52 53t1 = time.time() 54 55#トピック数 56num_topics = 10 57 58#LDAモデルに投入 59lda = models.LdaModel(corpus = corpus, id2word = dictionary, num_topics = num_topics) 60lda.save('lda.model') 61 62t2 = time.time() 63 64print(lda) 65 66#各トピックにおける各トークンの出現確率を係数で表示 67for topic in lda.show_topics(-1): 68 print(topic) 69 70print('ファイル数:%d'%len(file_list)) 71 72corpus_time = t1 - t0 73print('コーパス生成時間:%f秒'%corpus_time) 74 75lda_time = t2 -t1 76print('LDAモデル生成時間:%f秒'%lda_time) 77 78total_time = t2 - t0 79print('合計時間:%f秒'%total_time)
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2017/11/28 09:16
2017/11/28 09:23
2017/11/29 06:33