txtファイル内の単語をカウントするプログラム

Question

前提・実現したいこと

テキストファイルから指定した品詞を頻出順に抽出したいです.
プログラムの条件分のところで以下のエラーが出たのですが対処法がわかりません.
ご指摘いただきたいです.

なお, 参考にしたサイトでは名詞のみでしたが, 対象追加として動詞, 形容詞, 形容動詞も同時に処理したいと思っています.

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "count.py", line 21, in <module>
    for item in items
  File "count.py", line 23, in <listcomp>
    item[1] == '名詞' or item[2] == '動詞' or item[3] == '形容詞' or item[4] == '形容動詞' and item[5] == '一般')]
IndexError: list index out of range

該当のソースコード

import MeCab
import sys
import re
from collections import Counter

# ファイル読み込み
cmd, infile = sys.argv
with open(infile) as f:
    data = f.read()

# パース
mecab = MeCab.Tagger()
parse = mecab.parse(data)
lines = parse.split('\n')
items = (re.split('[\t,]', line) for line in lines)



# 名詞をリストに格納
words = [item[0]
         for item in items
         if (item[0] not in ('EOS', '', 't', 'ー') and
             item[1] == '名詞' or item[2] == '動詞' or item[3] == '形容詞' or item[4] == '形容動詞' and item[5] == '一般')]

# 頻度順に出力
counter = Counter(words)
for word, count in counter.most_common():
    print("{word}: {count}")

試したこと

orにて処理を試みたがうまくいきませんでした.

補足情報（FW/ツールのバージョンなど）

参考文献
【Python3】MeCabでテキストファイルから名詞を頻出順に抽出
https://qiita.com/reima21/items/cb73aeb569af48877261

Comments

[can110]

現象が再現する文字列(data)の例を提示ください。またその文字列で得られる理想の結果も提示ください。

[rrrrrrrry]

自分が読み込んでいるファイルは単語ごとに分けられているかつそれぞれ改行されています. 例えば, りんご\\みかん\\りんご\\みかん\\ぶどうというファイルを読み込んだなら, りんご:3\\みかん:2\\ぶどう:1のようにしたいと思っています.

[can110]

追記ありがとうございます。つまり「りんご(改行)みかん(改行)りんご(改行)みかん(改行)ぶどう」というファイルにてエラーが再現するということでしょうか？

[rrrrrrrry]

そうです.

[can110]

エラーが再現できません。wordsが空のまま正常終了します。「items = (re.split」の次行に「print(list(items))」で表示される結果を追記くださると回答得られやすいと思います。

[rrrrrrrry]

[['りん', '副詞', '助詞類接続', '*', '*', '*', '*', 'りん', 'リン', 'リン'], ['ご', '接頭詞', '名詞接続', '*', '*', '*', '*', 'ご', 'ゴ', 'ゴ'], ['みかん', '名詞', '一般', '*', '*', '*', '*', 'みかん', 'ミカン', 'ミカン'], ['りんご', '名詞', '一般', '*', '*', '*', '*', 'りんご', 'リンゴ', 'リンゴ'], ['みかん', '名詞', '一般', '*', '*', '*', '*', 'みかん', 'ミカン', 'ミカン'], ['りんご', '名詞', '一般', '*', '*', '*', '*', 'りんご', 'リンゴ', 'リンゴ'], ['ぶどう', '名詞', '一般', '*', '*', '*', '*', 'ぶどう', 'ブドウ', 'ブドー'], ['EOS'], ['']]のような結果です.

Answer 1

['EOS']時にitem[2]にアクセスして提示エラーが発生しています。

    if (item[0] not in ('EOS', '', 't', 'ー') and 
        item[1] == '名詞' or item[2] == '動詞' or item[3] == '形容詞' or item[4] == '形容動詞' and item[5] == '一般'):

において、item[0] not in ('EOS', '', 't', 'ー') and item[1] == '名詞'部分は偽と判定されますが、orで続くため、それに続くitem[2] == ～も解釈されています。

以下のように演算順序を正すとエラー発生しなくなります。

         if (item[0] not in ('EOS', '', 't', 'ー') and
             (item[1] == '名詞' or item[2] == '動詞' or item[3] == '形容詞' or item[4] == '形容動詞' and item[5] == '一般'))]

この条件判定部分、複雑になりデバッグしにくくなっているので、通常のforループに変えたほうがよいかと思います。

ちなみに最後のprint("{word}: {count}")も意図した結果にならないはずなので適切に修正が必要です。

Answer 2

itemsの要素数が、あなたが期待しているより小さい行があると言う事なので、データを確認しましょう。

#補足を見ての追記
条件部分がおかしかったです。データを見ると、おそらくこれが意図するところでしょう。

# 名詞をリストに格納
words = [item[0]
         for item in items
         if  item[0] not in ('EOS', '', 't', 'ー') and
             item[1] in ('名詞', '動詞','形容詞','形容動詞') and 
             item[2] == '一般']

あと、ここも、fが抜けてます。

    print(f"{word}: {count}")

Comments

[rrrrrrrry]

item[2]-[4]の部分を消したらエラー文は出ないので, ご指摘された点が原因ではないと思います.

[otn]

どういうコードに修正したらですか？

[rrrrrrrry]

#名詞をリストに格納の部分のif文の中身です.
item[2]からitem[4](私がor文で追加した部分)です.

[otn]

なぜ「itemsの要素数が、あなたが期待しているより小さい行がある」が原因じゃないと思うのでしょうか？データは調べましたか？

[can110]

「item[2]からitem[4](私がor文で追加した部分)」の説明と
質問のソース「～or item[2] == '動詞' or item[2] == '形容詞' or item[2] == '形容動詞'～」
が合っていません。どちらが間違っていますか？

[rrrrrrrry]

ソースです. ソースは訂正いたします.

[otn]

item[0]がEOS等の時は、item[1]以降は存在しないので、それらの存在を仮定するコードは駄目です。
回答に追記しておきます。