文章の内容を分類したい。

Question

今、３０このそれぞれ４０文字程度の文章があります。
この３０この文章はラグビー・サッカー・野球・プロレスのどれかについて書かれています。ラベルづけなどはしないで、文章の中身（特徴的な単語から）からそれぞれ文章を４つに分類したいのですが、どう言うプロセスでそれができますか？
コサイン類似度・係り受け解析・TF-IDF・Nグラムなど、目的のものが自然言語処理の手法を調べたのですが、依然どのようにできるのかわかりません・・・。

Comments

[hayataka2049]

何のために分類するんですか？

[taiyo2017]

文章の読解の効率のためです

Answer 1

あらかじめ、ラベリングしたほうが精度が高い分類ができますが、どうしてもラベリングなしで分類したいのであれば、トピックモデルを使うといいかもしれません。
トピックモデルはgensimに実装されているので、使いやすいはずです。以下に参考になりそうなurlを記載しておきます。

https://qiita.com/shizuma/items/44c016812552ba8a8b88
http://paper.hatenadiary.jp/entry/2016/11/06/212149

Comments

[hayataka2049]

あるいは分散表現を上手く使う、というのもありますね
（文書ベクトルとラグビー・サッカー・野球・プロレスの4単語のベクトルの類似度を測ってargmaxする感じ）

[R.Shigemori]

おぉ、その手もありましたね。
もしくは、分散表現からクラスター分析をかけてあげるとか…

Answer 2

一般的な文書分類の手法だと、教師あり学習で解くのでラベル付したデータを一定量用意する必要があります。

各クラスに20文書程度、テストデータのことも考えて100文書程度用意すればとりあえずやってみることはできるかと。

特徴量にはBag of Wordsを使い、ランダムフォレストあたりで分類してみればよいかと思います。

Comments

[taiyo2017]

ありがとうございます。ラベルをつけない方法はないのでしょうか？

[hayataka2049]

なくはないと思いますが、そういうアプローチを取ると性能や汎用性が犠牲になりがちなので、人手でラベリングした方が普通は合理的かと

[taiyo2017]

なるほど、ありがとうございます！！