tf, idfを独自に算出したい

Question

任意の文章を格納したテキストファイルからtfとidfを算出しようとしたところ、以下のエラーが出てしまいました。

解決に向けてお知恵をお貸しいただけますと幸いです。宜しくお願いします。

エラー

Traceback (most recent call last):
  File "renshu.py", line 105, in <module>
    idfs = math.log(num_lines / dfs) + 1
TypeError: unsupported operand type(s) for /: 'int' and 'dict'

コード

import os
import tweepy
import redis
import math
from collections import Counter
from collections import defaultdict
import re
from natto import MeCab
import codecs
import sys
from sklearn.feature_extraction.text import TfidfVectorizer
import glob
import numpy as np
import urllib.request
from gensim import corpora
from itertools import chain

#日本語ツイートを読み込む + 文書数を表示
count = 0
with codecs.open("test.txt", "r", "utf-8") as f:
    corpus = f.read().split("\n")

num_lines = sum(1 for line in open("test.txt"))
#print(num_lines)

mecab = MeCab('-d /usr/local/lib/mecab/dic/mecab-ipadic-neologd')

#ストップワードの読み込み
stop_words = []
path = 'stop_words.txt'
with open(path) as g:
    stop_words = g.readlines()
#url, 返信, RT, 絵文字の除去
texts=[]
for i in corpus:
    texts.append(re.sub(r"http\S+", "", i))
    texts.append(re.sub(r"@(\w+) ", "", i))
    texts.append(re.sub(r"(^RT.*)", "", i, flags=re.MULTILINE | re.DOTALL))
    emoji_pattern = re.compile("["
    u"\U0001F600-\U0001F64F"
    u"\U0001F300-\U0001F5FF"
    u"\U0001F680-\U0001F6FF"
    u"\U0001F1E0-\U0001F1FF"
    "]+", flags=re.UNICODE)
    texts.append(emoji_pattern.sub("", i))
texts.append(i)
#print(mecab.parse(texts))
# texts = list(set(texts))

#名刺の抽出とスクリーニング
docs = []
for txt in texts:
    words = mecab.parse(txt, as_nodes=True)
    doc = []
　#名詞の抽出と整形
　rm_list = ["RT","https","co"]
    for w in words:
        if w.feature.split(",")[0] == "名詞":
            if len(w.surface) >= 3:
                if w.surface not in rm_list:
                    doc.append(w.surface)
                    #r.zincrby('words', 1.0, w.surface)#文書dにおける単語tの出現回数?
    docs.append(doc)
corpus = docs

#重複単語の削除
nouns = []
for line in corpus:
    if line not in nouns:
        nouns.append(line)

tfs = [] # 記事毎のリスト。リスト要素は記事内の単語毎のtf値
dfs = {} # 単語毎のdf値
for idx,doc in enumerate(nouns): # idx=記事番号
    tf = {}
    for term in doc:
        TERM_CNT = len(doc) # 記事内の単語数

        # （記事内の）単語毎のtf値
        if term not in tf:
            tf[term] = 0
        tf[term] += 1 / TERM_CNT # コード短縮のため、割り込むと同時に足す

        # 単語毎のdf値
        if term not in dfs:
            dfs[term] = set()
        dfs[term].add(idx) # 集合(set)で記事番号(idx)を保持

    tfs.append(tf)

# 記事番号の集合の大きさ＝出現数
for term,doc_set in dfs.items():
    dfs[term] = len(doc_set)

idfs = math.log(num_lines / dfs) + 1 #問題の箇所

print('nouns:',nouns)
print('tfs:',tfs)
print('idfs:',idfs)

ファイル

頭が使い物にならねえ
課題も試験勉強も終わらないしミーティングもままならないからだめぽ
唐揚げと天丼と二郎が食べたい
実験終わらなかったし課題なんて知らない
生物やPythonも好きだけど、今はPrologでラムダ記法や意味表現辺りをうにゃうにゃしたい人生だった

補足情報（FW/ツールのバージョンなど）

iOS 10.14.6, Python 3.7.4, Atom

Answer 1

お疲れさまです。手元で実行できていませんが、math.logではなくnumpy.logで問題が回避できそうな気がします。

https://www.sejuku.net/blog/70027

math.logの箇所で、意図したようなbroadcastができていないように思います。
ご参考にしてみてください。

Comments

[farinelli]

お返事が遅くなり失礼致しました．
あれから計算以前に発生した様々なエラーを解決しまして，やっと取り掛かろうとした矢先，基本的なミスに気づきました．
もし宜しければ，ご都合の良い時にこちらを覗いていただけますと幸いです．．
https://teratail.com/questions/218857