[機械学習] ファッション用語「以外」の訓練データを集めたい

Question

ある文字列を「ファッション用語である」「ファッション用語ではない」のどちらかに判定する分類器を作成しております。

分類器ちゃんに「ファッション用語」を学習させるため、下２つの訓練データが必要です。
(1) ファッション用語である文字列いっぱい　　<-人力不可能
(2) ファッション用語じゃない文字列いっぱい　<-人力不可能

(1)に関してはファッション用語まとめサイトからのスクレイピングで用意することが出来ました。
しかし、(2)の集め方をどうすれば良いか悩んでおります。

以下に(2)を用意するために調べたことを記述します。
1, ECサイトから「ファッションカテゴリに分類しない商品データ一覧」を取得出来れば良いのでは無いか、と考える。
→Amazo◯n、楽◯ のAPIについて調べた結果、「除外カテゴリの指定」の様なことは出来なかったor見つからなかった。
2, 辞書サイトで「ファッションに関連する語句」を排除した語句一覧を取得出来れば良いのでは無いか、と考える。
→W◯ki、(辞書じゃないけど)Go◯gle Custom Search API などについて調べ、1と同様に出来ない感じだった。

やりたいことはただ１つ、「ファッションに関連しない、たくさんの文字列の取得」です。
妙案お待ちしておりますm(_ _)m

Answer 1

１）辞書サイトから、沢山の用語（見出し語）を収集する。（ファッション用語辞典のようなサイトは避けること）
２）収集した用語から、ランダムに抽出してリストを作る。（学習用のデータの量を抑えて、現実的な時間で学習できるように）
３）リストの中に「ファッション用語」（スクレイピングで作ったり(2)のデータ）に含まれる用語があったら、それは除外する。

このようにすれば、『「ファッション用語まとめサイト」に載っている用語』と『「ファッション用語まとめサイト」に載っていない用語』という２つの学習用データが得られるのではないでしょうか。

『「ファッション用語まとめサイト」に載っている用語』と『ファッション用語』が同義であるかどうかは疑問が残ります。

Comments

[mosuke]

なるほど、
(2) = 全体 - (1)
という発想に至りませんでした汗
これなら出来そうです、ご回答ありがとうございました！！

Answer 2

「いっぱい」が3桁とか4桁なら人力でもなんとかいけますよ。5桁超えると一人でやるのはしんどいですけど。

---

たとえばニュースサイトという便利なものがあるので、ファッションカテゴリとそれ以外の記事から取ってくるのが素直だしわかりやすいのではないでしょうか。

記事単位でよければデータ取ってくるだけですが、単語単位となると工夫がいります。
「教師なし（ないし半教師あり）で特定カテゴリに関連する単語を分類する」というタスクなので、うまい方法を思いついたら（既存研究とかぶらなければ）それだけで発表できます。

Answer 3

とりあえず、どこからか単語全件を取得して、手持ちのファッション関連の単語を除外すれば、必要最低限の処理を行った「ファッション関連以外の単語」を入手したことになります。
ここから先は、人手で除外するしかないかと思います。少しでも手間を減らすような方法があるとすれば、学習済みのword2vecの単語ベクトルを入手して手持ちのデータの類似語を取得（wrod2vecのmost_similarを活用）して単語全件から除外するという方法が考えられます。朝日新聞がword2vecの単語ベクトルを公開していると聞いたことがあるので、こうしたものを活用するといいかと思います。