前提・実現したいこと
日本語文が1文ずつ複数行書かれたテキストファイルが複数あります.これらを順に読み込み,KNPによる解析を行おうとしています.
発生している問題・エラーメッセージ
Error: ;; Invalid input (4 items)< \ \ 特殊 1 空白 6 * 0 * 0 NIL
該当のソースコード
Python3
1filenames = ["hoge1", "hoge2", "hoge3", "hoge4", "hoge5", "hoge6", "hoge7", "hoge8"] 2for i in range(len(filenames)): 3 with open("../hogehoge/piyopiyo/" + filenames[i] + ".txt", "r") as readf: 4 for line in readf: 5 text = funs.cleanText(line) 6 7 knp_result = knp.parse(text)
試したこと
上記のエラーはknp_parse(text)の行で発生していることは確認済です.この行は70回ほど実行されますが,そのうち数回が上記のエラーを吐き出します (諸事情により,実際の解析対象の文は載せられません).textは,記号を除いた純粋な日本語文になります (ただし全てのtextは最後に"\n"を持つ).
普通に考えると,解析対象の文に不適切な記号などが含まれていることが原因なのですが,テキストファイル"hoge1.txt"を除いてhoge2.txtからhoge8.txtに対して1行ずつ読み込み解析すると,エラーが吐き出されるtextが変わるのです.そうなると,今度は解析の実行回数によって問題が起きるのかと考えましたが,「全体で何回目の解析でエラーが起こるか」も調べたところ,法則性はありませんでした.
上記のエラーメッセージを調べると
http://wanko-sato.hatenablog.com/entry/2017/01/09/095645
のみヒットしましたが,あまり参考になりませんでした.同様のエラーが出た経験のある方がいれば,どう対処したかを教えていただきたいです.
補足情報(FW/ツールのバージョンなど)
Mac OS High Sierra 10.13.2
Python3.6.3
ここにより詳細な情報を記載してください。
回答1件