テキストデータから頻出単語の抽出

Question

テキストデータから頻出単語を抽出してエクセルに出力したいです。

python、プログラミングともに初心者のため、エラーの対処方法がわかりません。

名詞や形容詞、一般動詞を抽出し、エクセルにしゅつりょくさせたいのですが、以下のエラーがでてしまいました。

また、最終的には、TF-IDFを算出したいので、そちらのコードも教えていただけると幸いです。
分かる方いらっしゃいましたら、是非ご教授お願いいたします。

IndexError                                Traceback (most recent call last)
<ipython-input-10-85eba9c8f032> in <module>
     13 
     14     if (    result_word[0] not in ('EOS', '')
---> 15         and result_word[3] == '名詞-一般'):
     16 
     17             words.append(result_word[0])

IndexError: list index out of range

import MeCab
import re
from collections import Counter

# ファイル読み込み
file = r'jp_title.txt'

with open(file, encoding = 'utf-8') as f:
    text = f.read()

# 空行の削除
text = re.sub('\n\n', '\n', text)

# Mecab で形態素解析
tagger = MeCab.Tagger("-Ochasen")
result = tagger.parse(text)
result_lines = result.split('\n')

result_words = []
words = []

for result_line in result_lines:
    result_words.append(re.split('[\t,]', result_line))

for result_word in result_words:

    if (    result_word[0] not in ('EOS', '')
        and result_word[3] == '名詞-一般'):

            words.append(result_word[0])
            
# 頻出単語TOP100を抽出
counter = Counter(words)
for word, count in counter.most_common(100):
    print('%s : %s' % (word, count))

txtデータの間の空白は、エクセルで空行になっているところです。
今回は、エクセルのデータをtxtデータに変換して行っています。

title
ライオコツト ダンジョン
ねごと メルシールー
闇よだれちび太

トップ・オブ・ザ・ワールド
ゲンム や スナイプ たちとのグリーティング 仮面ライダーエグゼイドスペシャルショー にて ジュウオウジャーショー グリーティング 魔法学校の制服
ひとりで生きられそうって それってねえ 褒めているの

ドリフト専用 開発ストーリーⅡ 進化するモンスターマシン 本編
話がしたいよ



サクラ大戦最終章
しゃべるねこ しおちゃんへの質問その

布袋寅泰




岡村孝子
シドニアの騎士
サーモン握り






オープニングアニメーション

八王子 初音ミク
均インテリア雑貨リメイクシートとウォールシェルフでドレッサー周りを大人フレンチ風に変身セリア・ダイソー
クリス・ハート まもりたい
野村忠宏の 年前アテネオリンピック 金メダル 級
仮面ライダーゼロワン ジオウ夢コラボスペシャル座談会第 弾令ジェネヒロイン 集結ウォズがイズにアドバイス鶴嶋乃愛 大幡しえり 渡邊圭祐

モーニング娘。
の協力 エジプト編 小規模農家支援 売れる野菜で所得アップを

周炫美 ナツメロ
さらに使える便利テクニック活用法
休戦協定 公式
たいようの哀悼歌 アニメ将国のアルタイルテーマ
日影の忍者 勝彦
ねこモチーフの編み方

東海大甲府 渡邊 諒






あめつちひといぬ映画未使用曲




国際テロのない世界をめざして インド洋での補給支援活動
レイ零零



安くて強力なやの紹介ドラゴンボールヒーローズ
長澤家のオープンガーデン

大河ドラマ 江 姫たちの戦国 其の弐より
椎名林檎 コメンタリー映像

#字数制限のためここまでしか載せられませんが、以下もテキストデータは続きます。

Answer 1

名詞以外には興味がないのなら、

for result_word in result_words:

    if (    result_word[0] not in ('EOS', '')
        and result_word[3] == '名詞-一般'):

            words.append(result_word[0])

の部分を

for result_word in result_words:
    try:
        if (result_word[3] == '名詞-一般'):
            words.append(result_word[0])
    except Exception:
        pass

に変更すれば動くでしょう。

Comments

[fukubaka]

ご指摘いただきありがとうございます。
エラーはなくなりましたが、printでの頻出単語の出力がされませんでした。
重ね重ね大変恐縮ですが、出力するにはどうすればよろしいでしょうか。

[ppaul]

print('%s : %s' % (word, count))
を
print('%s : %d\n' % (word, count))
にすれば動くと思います。