形態素解析をして名詞のみの単語リストをつくるときのエラー

Question

前提・実現したいこと

形態素解析をして、リストに入っている形容詞や形容動詞などを含む単語を
名詞のみの単語リストにしようとしています。

発生している問題・エラーメッセージ

最終的に得たいのは以下のリストですが、

ans = ['beef', 'chicken', 'meat', 'pork']

現状のコードだと以下のエラーが出てしまうため、

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-38-45defa4ddf68> in <module>()
      1 for word in result:
      2     s = {'NN', 'NNP', 'NNPS', 'NNS'}
----> 3     selected_wordsets.append( [(word, tag) for word, tag in result if tag in s])
      4 selected_wordsets
      5 

<ipython-input-38-45defa4ddf68> in <listcomp>(.0)
      1 for word in result:
      2     s = {'NN', 'NNP', 'NNPS', 'NNS'}
----> 3     selected_wordsets.append( [(word, tag) for word, tag in result if tag in s])
      4 selected_wordsets
      5 

ValueError: not enough values to unpack (expected 2, got 1)


 File "<ipython-input-39-74a608359c14>", line 2
    ans.append(word for word, tag in selected_wordsets])
                                                      ^
SyntaxError: invalid syntax

どのように修正すれば良いかアドバイスをいただきたいです。

該当のソースコード

words = ['beef', 'boiled chicken', 'processed meat', 'pork']

result = []
selected_wordsets = []
ans = []
import nltk
for word in words:
    result.append(nltk.pos_tag(nltk.word_tokenize(word)))
result

for word in result:
    s = {'NN', 'NNP', 'NNPS', 'NNS'}
    selected_wordsets.append( [(word, tag) for word, tag in result if tag in s])
selected_wordsets

for word in selected_wordsets:
    ans.append(word for word, tag in selected_wordsets])
ans

出力

#result
[[('beef', 'NN')],
 [('boiled', 'VBN'), ('chicken', 'NN')],
 [('processed', 'VBN'), ('meat', 'NN')],
 [('pork', 'NN')]]

試したこと

形態素解析を行った後、名詞のみを取り出してリストに加えることはできています。

import nltk
result = nltk.pos_tag(nltk.word_tokenize("The beauties of nature"))
result

s = {'NN', 'NNP', 'NNPS', 'NNS'}
selected_wordsets = [(word, tag) for word, tag in result if tag in s]
selected_wordsets

ans = [word for word, tag in selected_wordsets]
ans

出力

[('The', 'DT'), ('beauties', 'NNS'), ('of', 'IN'), ('nature', 'NN')]

[('beauties', 'NNS'), ('nature', 'NN')]

['beauties', 'nature']

###追記
以下のコードを実行すると求めたい出力を得ることはできましたが、
少々冗長なので、どうすればより効率の良いコードになるか教えていただきたいです。

words = ['beef', 'boiled chicken', 'processed meat', 'pork']

result = []
selected_wordsets = []
ans_wordsets = []
import nltk
for word in words:
    result.extend(nltk.pos_tag(nltk.word_tokenize(word)))
    print(word)

for word in result:
    s = {'NN', 'NNP', 'NNPS', 'NNS'}
    selected_word = [(word, tag) for word, tag in result if tag in s]
    selected_wordsets.extend(selected_word)
    break;
selected_wordsets

for word in selected_wordsets:
    ans_word =[word for word, tag in selected_wordsets]
    ans_wordsets.extend(ans_word)
    break;
ans_wordsets

補足情報（FW/ツールのバージョンなど）

Python 3.6

Answer 1

とても初歩的な問題です。resultもansもループが回るたびに再代入してるから、最後に代入した値が残ります。

こう書いているのと同じことですから。

word = 'beef'
result = nltk.pos_tag(nltk.word_tokenize(word))
s = {'NN', 'NNP', 'NNPS', 'NNS'}
selected_wordsets = [(word, tag) for word, tag in result if tag in s]
ans = [word for word, tag in selected_wordsets]

word ='boiled chicken'
result = nltk.pos_tag(nltk.word_tokenize(word))
s = {'NN', 'NNP', 'NNPS', 'NNS'}
selected_wordsets = [(word, tag) for word, tag in result if tag in s]
ans = [word for word, tag in selected_wordsets]

word = 'processed meat'
result = nltk.pos_tag(nltk.word_tokenize(word))
s = {'NN', 'NNP', 'NNPS', 'NNS'}
selected_wordsets = [(word, tag) for word, tag in result if tag in s]
ans = [word for word, tag in selected_wordsets]

word = 'pork'
result = nltk.pos_tag(nltk.word_tokenize(word))
s = {'NN', 'NNP', 'NNPS', 'NNS'}
selected_wordsets = [(word, tag) for word, tag in result if tag in s]
ans = [word for word, tag in selected_wordsets]

---

見直しが足りなくて気づかなかったのなら、teratailで質問する前にもう少し自分で粘るようにしましょう。

素でわかっていないのなら、さすがに実力不足だと思うので、入門書的なところからやり直すしかないと思います。

Comments

[退会済みユーザー]

エラー文の追記と現状のコードの修正をいたしました。
初歩的であることは理解していますが、どうしても繰り返しとデータ構造が苦手な場合、易しい入門書だと身に付かなかったため、Pythonだとどの本が良いのでしょうか。教えていただけますとありがたいです。

[hayataka2049]

内包のループはword（resultの子リスト）に対して回すのでは？　それと、appendよりextendの方が良いでしょう
入門書は、とりあえず私は自分が何を読んだかの記憶はほとんどないし、かつて読んだ本が今通用するとも思えないので、ググってよさげなのを探してください
あとは公式ドキュメントのチュートリアルとかでも良いでしょうし、python入門的なページもweb上にたくさんあります
とりあえず公式のチュートリアル
https://docs.python.jp/3/tutorial/

[退会済みユーザー]

お返事とアドバイスをいただきましてありがとうございます。追記に現状を追加させていただきました。可能でしたら、何かヒントをいただけますと幸いです。追記に明記いたしましたコードを実行すると求めたい出力を得ることはできましたが、少々冗長なので、どうすればより効率の良いコードになるか教えていただきたいです。

[hayataka2049]

内包で回すなら下の2つのforは要らないのでは

[退会済みユーザー]

ありがとうございました。