idfが計算できない

Question

テキストファイルから特定の文字列を除去した後，形態素解析によりストップワードを含まない2文字以上の名詞を抽出し．抽出した名詞毎にtf-idfを表示したいと考えています．
又，tf-idfを構成する4要素(下記参照)は個別に取得するものとします．
・ある単語t の文書d 内での出現回数
・文書d内のすべての単語の出現回数の和
・全文書数(N)
・ある単語t が出現する文書の数(df)
プログラムを組んでみたのですが，dfが単語と対応する性質を持つことからリストや辞書の類でまとめる必要があり，int型を持つNと除算ができず，困っています．

この件に関しまして，解決策をご存知の方に是非ご教示頂きたいです．
宜しくお願いします．

テキスト

全ゲノム配列決定が容易になった結果，多くの新規遺伝子(タンパク質)の存在や機能を配列情報から予測することはかなり容易になった．
とはいえ，どの生物種でも全遺伝子の1/3~1/2はその配列からだけでは機能を予測できない「機能未知タンパク質」をコードしている．
生命現象の全体像を分子レベルから理解するためには，それら機能未知タンパク質の機能の解明も必要である．
又，タンパク質配列のうち全くもって未知なものもあれば，多くの種で保存されている既知の機能部位を持つものもある．
更に，タンパク質が持つ活性(分子機能)と細胞における働き(細胞内機能)は往々にして別の文脈で語られることが多く，これらを実験的に検証する系は未だ存在しない．
本研究では，モデル生物である出芽酵母を用いて，関心のある機能未知タンパク質の機能部位の同定と機能解析をランダム変異導入法を用いて，安価かつ簡素に行う系を確立することを目的とする．

理想の出力結果

dfs: {'ゲノム': oo, '配列': oo, '決定': oo, '容易': oo, …}
#ooには任意の数字が入る

エラー

Traceback (most recent call last):
  File "renshu3.py", line 83, in <module>
    idfs = np.log(num_lines / dfs) + 1 #問題の箇所
TypeError: unsupported operand type(s) for /: 'int' and 'dict'

コード

#!/usr/bin/python
# -*- coding: utf-8 -*-
import MeCab
import codecs
import re
import numpy as np

with codecs.open("protein.txt", "r", "utf-8") as f:
    corpus = f.read()
num_lines = sum(1 for line in open("protein.txt"))#総文書数

mecab = MeCab.Tagger('-d /usr/local/lib/mecab/dic/mecab-ipadic-neologd')
mecab.parse('')
m = mecab.parseToNode(corpus)

#除外したい単語リスト
rm_list = ["RT","https","co","さん","フォロー","本日","応募","今日","プレゼント","お金","FGO","無料","本人","投稿","動画","ツイート","リツイート","Twitter","ローソン","Peing","http","Amazonギフト券","bot","発売中","Youtube","www","WWW","質問箱","コラボ","フォロワー","DM","いいね","ＲＴ","lawson","://","！","peing","youtube","抽選","jp","リプ","キャンペーン","チケット","期間限定","DHC","日本","amp","人間","チャンネル","配信中","YouTube","WEB","楽しみ","イラスト","くじ","@","__"]

#ストップワード
stop_words = []
path = 'stop_words.txt'
with open(path) as g:
    stop_words = g.readlines()

#url, 返信, RT, 絵文字の除去
corpus = re.sub(r"http\S+", "", corpus)
corpus = re.sub(r"@(\w+) ", "", corpus)
corpus = re.sub(r"(^RT.*)", "", corpus, flags=re.MULTILINE | re.DOTALL)
emoji_pattern = re.compile("["
u"\U0001F600-\U0001F64F"
u"\U0001F300-\U0001F5FF"
u"\U0001F680-\U0001F6FF"
u"\U0001F1E0-\U0001F1FF"
"]+", flags=re.UNICODE)
corpus = emoji_pattern.sub("", corpus)

keywords = []
#単語のスクリーニング
while m:
    if m.feature.split(',')[0] == '名詞':
        if m.surface not in rm_list:
            if len(m.surface) >= 2:
                keywords.append(m.surface)
    m = m.next

#名詞の重複を消す
nouns = []
for line in keywords:
    if line not in nouns:
        nouns.append(line)

#tf, idfの計算
tfs = [] # 記事毎のリスト。リスト要素は記事内の単語毎のtf値
dfs = {} # 単語毎のdf値
for idx,doc in enumerate(nouns):
    tf = {}
    for term in keywords:
        tangosuu = len(keywords)

        # （記事内の）単語毎のtf値
        if term not in tf:
            tf[term] = 0
        tf[term] += 1 / tangosuu

        # 単語毎のdf値
        if term not in dfs:
            dfs[term] = set()
        dfs[term].add(idx)

    tfs.append(tf)
    #r.get(tf, term)

#記事番号の集合の大きさ＝出現数
for term,doc_set in dfs.items():
    dfs[term] = len(doc_set)
    #r.get(df, term)

    idfs = np.log(num_lines / dfs) + 1 #問題の箇所

print('nouns:',nouns)
print('idfs:',idfs)

補足情報（FW/ツールのバージョンなど）

iOS 10.15, Python 3.7.4, Atom

Answer 1

辞書内包表記などを用いて、個別に要素を計算すればよいかと思います。

>>> import numpy as np
>>> d = {"hoge":1, "fuga":2, "piyo":3}
>>> id = {k:np.log(1/v) + 1 for k, v in d.items()}
>>> id
{'hoge': 1.0, 'fuga': 0.30685281944005471, 'piyo': -0.098612288668109782}

Comments

[farinelli]

お返事遅くなり失礼致しました．有難うございます．やってみます．