mecabを用いた分かち書き処理が終わらない

MeCabを用いて特定の品詞を基本形で分かち書きするコードを動かしているのですが、一向に処理が終わりません。
かれこれ５時間ほど待っているのですが処理が終わらず、何かコードに問題があるのではないかと思い質問させていただきます。
tsvファイルは500kbほどで、重い原因にはなっていないとは思います。他のコードで同一のtsvファイルを用いた際にはサクサク動いております。
何か動作を軽くする改編や、問題があればその指摘をお願いいたします。

該当コード

with open("jurycomment2.tsv",mode='r',encoding='utf-8') as f:
    # reports.tsvには一行に口コミID,口コミがtab区切りで保存されている
    reader = csv.reader(f, delimiter="\t")
    for report_id, report in reader:
        words = []
        node = mt.parseToNode(report)
        while node:
                if node.feature.split(",")[0] == u"名詞":
                        words.append(node.surface)
                elif node.feature.split(",")[0] == u"形容詞":
                        words.append(node.feature.split(",")[6])
                elif node.feature.split(",")[0] == u"動詞":
                        words.append(node.feature.split(",")[6])
                        node = node.next
        stopword = []
        words2 = [token for token in words if token not in stopword]
        # wordsが文章の単語のリスト,tagsには文章IDを指定
        reports.append(TaggedDocument(words=words2, tags=[report_id]))

oikashinoa

2019/11/22 22:55

まずはサクサク動いている他のコードとの違いを確認して、原因箇所を探ってみては？動作確認のために、TSVファイルもごく短いにしてテストすれば良いと思います

manahy

2019/11/22 23:03 編集

こちらのコードはすぐ動きました。 import MeCab tokenizer = MeCab.Tagger() tokenizer.parse("") node = tokenizer.parseToNode("テキストデータをうまく取り扱う") keywords = [] while node: if node.feature.split(",")[0] == u"名詞": keywords.append(node.surface) elif node.feature.split(",")[0] == u"形容詞": keywords.append(node.feature.split(",")[6]) elif node.feature.split(",")[0] == u"動詞": keywords.append(node.feature.split(",")[6]) node = node.next print(keywords) tsvファイルを [1 これはテストデータです。] としても問題のコードは動かなかったので、tsvファイルの形式と問題のコードの相性に原因がありそうな気はしています。。。それかfor文でどこかを無限にグルグル回ってしまっているのかなと...

quickquip

2019/11/22 23:52

https://teratail.com/help#posted-otherservice > 他のサービスにも質問投稿をしたい（してしまった） > また、解決した際には必ずteratail及びすべての投稿に解決した旨と、どのように解決したかを記載してください。

行動規範の内容に同意します

回答1件

ベストアンサー

名詞でも動詞でも形容詞でもないノードがあると、node = node.nextが呼ばれないので無限ループします。

追記

解決したようでよかったのですが、よく見たら動詞ではないノードがあるとそれだけでもうだめでしたね。

pyhton
1while node:
2    if node.feature.split(",")[0] == u"名詞":
3        words.append(node.surface)
4    elif node.feature.split(",")[0] == u"形容詞":
5        words.append(node.feature.split(",")[6])
6    elif node.feature.split(",")[0] == u"動詞":
7        words.append(node.feature.split(",")[6])
8
9    node = node.next