いいタイトルが思いつかないですが、pythonのコードの改善がしたいです

Question

自然言語処理100本ノック の30問目を こちら のサイトのコードを参考にして(というかそのまま書いて)

path = 'neko.txt.mecab'
with open(path) as f:
    text = f.read().split('\n')
result = []
for line in text:
    if line == 'EOS':
        continue
    ls = line.split('\t')
    d = {}
    tmp = ls[1].split(',')
    d = {'surface':ls[0], 'base':tmp[6], 'pos':tmp[0], 'pos1':tmp[1]}
    result.append(d) 

という文を実行するとおそらく

if line == 'EOS':
    continue:
ls = line.split('\t')

のところのせいで ls の一番最後に [' '] が生成されてしまい(そもそも最後にEOSが2行連続で出てしまうからこうなっているという認識であってますか?), li[1] のところで

Traceback (most recent call last):
File "NLP30.py", line 11, in <module>
tmp = ls[1].split(',')
IndexError: list index out of range

となっています. 例えば

path = 'neko.txt.mecab'
with open(path) as f:
    text = f.read().split('\n')
result = []
d = {}
for line in text:
    if line == 'EOS':
        continue
    if line != '':
            ls = line.split('\t')
            tmp = ls[1].split(',')
            d = {'surface':ls[0], 'base':tmp[6], 'pos':tmp[0], 'pos1':tmp[1]}
            result.append(d)

という文に書き換えて実行すればうまくいきますが, そもそも [' '] が生成されない書き方をしたいのですが, わからないです. なにかアドバイスをいただけるでしょうか

Answer 1

neko.txt.mecab の最後に改行が含まれていると思われます。
その結果、 line が空文字となるためそのような挙動となります。

事象が再現するコード

ls = ''.split('\t')
print(ls)
print(ls[1])

---

コメント受けての追記

そこからの改善がよくわからないです。

mecabには詳しくないのですが、正常にmecabで出力したものでもこの事象が発生するのであれば、Hirasawa_Yui_3さんが記載されたコードのように分岐を追加すればよいかと思います。

EOSと条件をまとめると以下のようになるでしょうか。

# 略
for line in text:
    if line in ['EOS', '']:
        continue
# 略

Comments

[Hirasawa_Yui_3]

すみません、言ってることはわかるのですが、そこからの改善がよくわからないです。