Python 機械学習について

Question

Pythonを勉強中の者です。
PythonでTweetの分類（POS,NEG）をしたいと考えています。

例えば、適当なツイート1000件(A)にたいして、ラベルをふり学習器を作ったとして、
その学習器を使って異なるツイート1000件(B)のラベルを予測することはで可能なのでしょうか。

countvectorizerを用いてツイートをベクトル化したとしても、AとBでは出現する単語が異なり、生成されるベクトルの長さも異なり、エラーが出ると思います。

解決方法があれば教え下さい。

Answer 1

countvectorizerを用いてツイートをベクトル化したとしても、AとBでは出現する単語が異なり、生成されるベクトルの長さも異なり、エラーが出ると思います。

その通りで、ベクトルを作るための単語の集合は、AとBで共通にしないといけません。
AとBを含む全体をコーパスと見てベクトルを作るか、もっとずっと巨大なコーパスからボキャブラリ(単語辞書）を作るかします。
後者の場合はcountvectorizerを使うよりも自分で作った方がいいでしょう。

ポジネガの極性単語辞書のような外部知識を素性として入れるのであれば、1000件でもとりあえずやってみればいいと思います。

外部知識を入れないでやろうとすると、いかにも少ないように感じます。
1000件という数が、すべてポジかネガの極性が付いているものを集めてその数なら、一回システムを作ってみたらいいと思います。システムを作って性能評価ができるようになってからデータを増やしていく、という順番で進めればいいでしょう。
1000件という数がとりあえず集めたツイートの数で、そこからラベルを振っていくのであれば本当に少ないと思います。その場合はポジでもネガでもない中立が混じってくるはずです。こちらの場合は、中立のデータがどのぐらいあるか、データを実際にながめてからどうするか考えるでしょうね。

Answer 2

ラベルを予測ということであれば、全く未知の単語はむしろノイズに近いです。
前もって人為的 or 機械的にカウントする単語を選んでしまってよいかと思います。
それでも未知の単語が多いのであれば、学習データの拡張を考えた方がよいです。

工夫するとすれば、「同じ単語」としてカウントする仕組み作りかと。
表記揺れや語の活用、記号(顔文字など)の取り扱い、それで性能は伸びそうですね。

Comments

[asddsa]

ご回答ありがとうございます

countvectorizerなどで、学習器を作成したときと同じ単語列のベクトルを生成することは可能なのでしょうか

それとも、その部分はオリジナルで実装する必要がありますでしょうか

[LouiS0616]

文書解析系はあまり実践したことがないのですが、出来ると思いますし、ご自身で組んでもそんなに難しくないかと。
なんか漠然とした感じですみません。

[_Victorique__]

BoWをやればいいんじゃないですかね
例えばこういうのとか
http://qiita.com/yasunori/items/31a23eb259482e4824e2

もう少し機械学習の知識を入れてからやられた方がいいと思います。

[quickquip]

countvectorizerはBoW素性の疎なベクトルを作るためのものなのに、それと分からずに「BoWをやればいいんじゃないですかね」というコメントはちょっとひどくありませんか。※すみません。countvectorizerは数を数えるのでBoWとは別でした。