pythonでnltkを用いて形態素解析

Question

nltkを用いて形態素解析をしたいです

以下のようなコードを用いています
ストップワードの除去をコメントアウトのところで行っていますが
文章量が多いので省きました

for a in doc:
        count += 1
        #print count, len(doc)
        # ストップワード除去
        tag = pos_tag(word_tokenize(a))
        for u in range(len(tag)):
            try:
                if ("NN" in tag[u][1]) or ("NNS" in tag[u][1]) or ("JJ" in tag[u][1]):
                    ans.append(tag[u][0])
                    #print(ans[1])
            except:
                print(tag[u])
        if len(ans) == 0:
            VOC.append([])
        else:
            VOC.append(list(set(ans)))
            del ans
            ans = []

私は、名詞、形容詞のみをとってくるようにしているつもりです

しかし、結果を見ると、
「My」が含まれています（頭文字が大文字のみ）
これは自分のコードがおかしいのか
そもそもこういう仕様のどっちなのでしょうか

Answer 1

例えば、固有名詞の一部とか。

from nltk import pos_tag, word_tokenize
pos_tag(word_tokenize("I open the My Documents folder."))

[('I', 'PRP'),
 ('open', 'VBP'),
 ('the', 'DT'),
 ('My', 'NNP'),
 ('Documents', 'NNPS'),
 ('folder', 'NN'),
 ('.', '.')]

それはそうと、その現象が起きている文を抜き出して再現テストしてみればいいだけの話なのに、なんでそうしないんですか?
単にタグ付けに失敗しただけのケースも多々あると思いますよ。

Comments

[kohekoh]

たしかにそうですね
頭が回っていませんでした