文章からの単語を抽出して分類

python
1import nagisa
2
3text = ("昨日熱はあったが，吐かなかった．")
4words = nagisa.tagging(test)
5print(words.words)
6['昨日', '熱', 'は', 'あっ', 'た', 'が', ',', '吐か', 'なかっ', 'た', '.']
7

このようなテキストから，
症状あり：発熱
症状なし：嘔吐
といった感じで抽出したいのですが，単語に分割したあとの方針が全く見えません．
「熱」という名詞の後に「あった」という肯定語がきていることから，判断できるかと思うのですが，よくわかりません．
方向性だけでもいいのでご助言いただければ幸いです．

coco_bauer

2019/02/02 04:05

どのようにして、単語の分割をしたのでしょうか？　MeCabのような日本語形態素解析システムを使って解析すれば、ある程度の文脈読み取りは可能かと思います。発熱、嘔吐、といった医学用語を辞書に追加する必要があるかもしれませんが。

Stan_Dma

2019/02/02 04:09

In short, improve your logic building. I am afraid your explanation would not be understood by anyone.

KojiDoi

2019/02/02 05:10

「単語に分割した」結果をどのように使いたいたいのでしょうか。目的が何もわからないので方向性の助言のしようがありません。

行動規範の内容に同意します

回答4件

まず

どのような文章がどのぐらい集まるのかを明らかにすること
人間に文章を見せて「この文章を読んでこのように答えてください」と言えるような具体的な指示を文に書くこと

この2点は最低限クリアしてないと質問になりません。
（例えば「昨日熱を測ったら37度だった」という文にはどう答えますか? 「熱が出たらどうしたらいいですか?」という文には?）

次の段階として、その指示を何人かにしてみて、人間ごとに回答がぶれることがないか確認しないといけません。人間がやってぶれるような問題ならシステムにするのは難しいです。

ここまでが、手法を考える前に必要な最低限の前提です。

実際に文を集めてみたら表現にバリエーションが全然なくて、たくさん例を作って表層のマッチング（文字列の検索）するだけで必要な性能が出るみたいなことは起こります。そもそも「単語に分割した」時点で無駄なことをやっているかもしれません。

投稿2019/02/02 06:25

編集2019/02/02 06:41

quickquip

総合スコア11038

ba-ba-ba

2019/02/03 07:18

ご意見ありがとうございました．参考になりました．

行動規範の内容に同意します

ベストアンサー

熱(名詞)は(格助詞)あっ(動詞)

これを品詞を考慮して「熱(名刺)が(格助詞)ある(動詞)」に変換できれば、「熱がある」→「発熱」という変換テーブルを用意することで再度の変換で「発熱」を得ることはできると思います。

簡易的な変換なら変換テーブルを育てることで対応できると思いますが、「熱があったと思ったが気のせいだった」「熱があったと思いますか？あるわけないじゃないですか」などに対応しようとするとかなり困難です。
自然言語解析はかなりの研究時間を要する問題なので、ここで聞いてもわかりやすく簡単な回答は得られにくいかと思います。専門の研究機関に所属したり、多くの論文を読むことで自分の基礎学力を高め、専門的な話ができるようになってから専門家に直接尋ねるのがいいと思います。

投稿2019/02/02 05:50

Zuishin

総合スコア28660

ba-ba-ba

2019/02/03 07:16

ご回答ありがとうございます．今の自分には難題であるということがよくわかりました．基礎的なところからもっと勉強していきます．

行動規範の内容に同意します

前述の先輩方々述べられている様に難しい問題です。でも、初心者ながら、コードを書いてみました。

python
1import nagisa
2
3abnormal = '症状あり'
4normal = '症状なし'
5no_judge ='判定なし'
6
7text = '昨日熱はあったが，吐かなかった'       #abnormal  text1
8#text = '昨日熱もあったし、吐きもした'        #abnormal   text2
9#text = '昨日熱はなかったが、吐いた'          #abnormal   text3
10#text = '昨日熱はなかったし吐きもしなかった'  #normal    text4
11
12words = nagisa.tagging(text)
13new_tagger = nagisa.Tagger(single_word_list= ['なかった'])
14words = new_tagger.tagging(text)
15k = words.words
16
17print(k)
18
19def judge_sick(k):
20    j = []
21    for a in k:
22        if '熱' in a:
23            print(abnormal)
24            j.append(abnormal)
25        elif '吐' in a:
26            print(abnormal)
27            j.append(abnormal)
28        elif 'なかった' in a:
29            print(normal)
30            j.append(normal)
31
32    print(j)
33
34    if abnormal in j:
35        reply = abnormal
36    else:
37        reply = normal
38
39    return reply
40
41
42judge = judge_sick(k)
43print(judge)
44

考えられる文章を上述のtext1, text2, text3, text4とまとめて見ました。
私が書いたコードは、抽出した単語に、それぞれ、症状あり、症状なしを判定しています。
ただ、この方法では、text4に示されている、結果が、症状があることになり、期待される結果、症状なしと判定できませんでした。

まずは、具体的な取り組みの事例として投稿しました。
ご意見があればお待ちしております。

投稿2019/02/03 03:27