mecab解析の後, 欲しい品詞のみの抽出

Question

前提・実現したいこと

N-gram解析をすることには成功したのですが, その中からさらに自立語のみを抽出したいと考え, コードを書いたところ以下のようなエラーが出ました. wordsをどのように定義したらいいのでしょうか？

もしくは, これよりも効率の良い方法はありますでしょうか？

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "ngram.py", line 72, in <module>
    main()
  File "ngram.py", line 61, in main
    bow = text2bow(argvs[2],mod="file")
  File "ngram.py", line 26, in text2bow
    words = words.replace('\n', '')
UnboundLocalError: local variable 'words' referenced before assignment

該当のソースコード

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#Qiita: Pythonで単語N-gramを生成するモジュール <https://qiita.com/takumi_TKHS/items/942492b72aaf7b6a6213>

import sys
import subprocess as cmd

# テキスト -> 単語(形態素)集合
def text2bow(obj,mod):
    
    # input: ファイルの場合はmod="file", input: 文字列の場合はmod="str"
    if mod == "file":
        morp = cmd.getstatusoutput("cat " + obj + " | mecab -Owakati")
    elif mod == "str":
        morp = cmd.getstatusoutput("echo " + obj.encode('utf-8') + " | mecab -Owakati")
    else:
        print("error!!")
        sys.exit(0)

    morp = list(morp)

    key = ('名詞', '動詞', '形容詞', '形容動詞')
    global words

    if morp[1] in key:
        words = morp[0]

    words = words.replace('\n', '')

    bow = words.split(' ')

    return bow

# N-gramの生成
def gen_Ngram(words,N):
    
    ngram = []
    
    for i in range(len(words)):
        cw = ""
        
        if i >= N-1:
            for j in reversed(list(range(N))):
                cw += words[i-j]
        else:
            continue
        
        ngram.append(cw)
    
    return ngram

# 出力
def output_Ngram(ngram):
    
    for i in range(len(ngram)):
        print(ngram[i])

def main():
    
    argvs = sys.argv
    
    # input: ファイルの場合
    bow = text2bow(argvs[2],mod="file")
    
    # input: 文字列の場合
    #bow = text2bow(obj=u"これはN-gramを生成するプログラムです．",mod="str")
    
    ngram = gen_Ngram(bow,int(argvs[1]))
    
    output_Ngram(ngram)

if __name__ == "__main__":
    
    main()

試したこと

global words
というように定義しているところは, それを入れないとlocal扱いされてしまうエラーが出たからです.

Answer 1

-Owakatiオプションは分かち書きのフォーマットで出力するというオプションなので、そもそも品詞を扱えません。

参考にしているqiitaのプログラムをそのまま適用するのは無理ですし、やるとしたら書き直しに近いことが必要になるので、どのみち書き直した方が良いです。

公式のpythonバインディングをインストールして使うのがおすすめです。解説記事は幾らでも転がっていると思います。

Comments

[rrrrrrrry]

```
def text2bow(obj,mod):

# input: ファイルの場合はmod="file", input: 文字列の場合はmod="str"
if mod == "file":
morp = cmd.getstatusoutput("cat " + obj + " | mecab -chosen")
elif mod == "str":
morp = cmd.getstatusoutput("echo " + obj.encode('utf-8') + " | mecab -Ochosen")
else:
print("error!!")
sys.exit(0)

morp = list(morp)

key = ('名詞', '動詞', '形容詞', '形容動詞')

if morp[3] in key:
words = morp[0]

words = words.replace('\n', '')

bow = words.split(' ')

return bow
```
のようにmecabの方法を変えたのですが, 以下のようなエラー文が出てしまいます. これはなぜでしょうか？
Traceback (most recent call last):
File "ngram.py", line 73, in <module>
main()
File "ngram.py", line 62, in main
bow = text2bow(argvs[2],mod="file")
File "ngram.py", line 24, in text2bow
if morp[3] in key:
IndexError: list index out of range

[hayataka2049]

morpにどんなデータが入っているかわかりますか？　わからなければprintして確認してください

[rrrrrrrry]

一部ですが... 確認いたしました.
(0, "['\t名詞,サ変接続,*,*,*,*,*\n2010\t名詞,数,*,*,*,*,*\n年\t名詞,接尾,助数詞,*,*,*,年,ネン,ネン\n11\t名詞,数,*,*,*,*,*\n月\t名詞,一般,*,*,*,*,月,ツキ,ツキ\n

[rrrrrrrry]

more[1] in keyと修正をしました.
UnboundLocalError: local variable 'words' referenced before assignment
このエラーはどのように対処したら良いんでしょうか？
global wordsを試したのですが全く意味がありませんでした.

[hayataka2049]

out of rangeになるようなものがmorpに入るようなケースがあるのでしょう。どういうケースでそうなるのかはわからないので実際に確認してみてください

[hayataka2049]

コメントが編集されたので訂正。もともと、more[1] in keyがTrueにならなければwordsに何も入らないコードですよね。なのでelse節でその場合の処理を何かしら書いてあげてください

[hayataka2049]

あと、私の回答は最初から「公式バインディングでも使って書き直した方が良い」です。コメントが来たのでなんとなく返信しましたが、あくまでも元のコードを大事に修正していきたいというのであればこの先はご自身でどうぞ。私はフォローできません