作成したデータセットで機械学習

Question

###前提・実現したいこと
テキストデータからtf-idf値が一定値以上の単語を抜き出し、そのデータをデータセットとして機械学習モデルに渡し、ジャンルを出力させるプログラムを作成したいと思っています。

現在、そのためのデータセットを準備しようとしている段階で、プログラム起動時にテキストファイル名と単語を絞り込むための数値を入力し、入力された数値以上のtf-idf値をもつ単語を[単語,tf-idf値]のリストとして作成するところまで実装ができました。

このデータセットを用いて機械学習のモデルを作成したいのですが、どのように作成すればよいのかが、身近に機械学習をじっそうしたことのある人がいないため、１からアドバイスをいただきたいです。

###作成途中のコード

# -*- coding: utf-8 -*-  
#keywordリスト作成  
#指定したテキストファイル（日本語は分かち書きされたもののみ）に対応  
 
import numpy as np  
from sklearn.feature_extraction.text import CountVectorizer  
from sklearn.feature_extraction.text import TfidfTransformer  
 
#CountVectorizer():文書ごとの単語の出現頻度を取得  
count = CountVectorizer()  
 
#文書を指定  
doc = input('select file(ex,○○.txt):')  
doc_name = doc  
with open(doc, encoding = 'utf-8') as f:  
   #改行文字を空白に置き換える  
   doc = [f.read().replace('\n', ' ')]  
f.close()  
 
#絞り込みの基準を設定  
level = float(input('set level(0.0 <= level <= 1.0):'))  
 
#文書を表示  
print('\n%s:%s\n' %(doc_name, doc))  
 
#N種類の文字列を0からN-1までの整数に置き換える  
bag = count.fit_transform(doc)  
TF = bag.toarray()  
 
#ディクショナリを表示  
dic = count.get_feature_names()  
print('dictionary:%s\n' %dic)  
 
#各単語のインデックスを表示  
print('index:%s\n' %count.vocabulary_)  
 
#TfidfTransformer:(文書内の)TF-IDFを計算  
tfidf = TfidfTransformer(use_idf = True, norm = 'l2', smooth_idf = True)  
np.set_printoptions(precision = 2)  
TF_IDF = tfidf.fit_transform(bag).toarray()  
 
my_dic = []  
 
#keywordを表示  
for idx, word, in zip(*np.where(level <= TF_IDF)):  
   print('keyword:%s, TF-IDF:%s'%(dic[word], TF_IDF[(idx, word)]))  
   my_dic.append(list([(dic[word], TF_IDF[(idx, word)])]))  
 
#データセットを表示  
print(my_dic)  
 

###補足情報
説明不足なところがあると思うので、不明なところがあれば質問をしていただけるとありがたいです。

Comments

[退会済みユーザー]

私にはtf-idf関係の話はできませんので、teratailで助けてもらうためのヘルプを書きます。　全くゼロでここまできたわけではなく、今まで何かしらのWEBサイトや文献を読まれたのではないでしょうか？それをここで見せて、「ここまでは自力で覚えて、ここまではわかるようになった。その上でこう説明してあるけれども、ここの部分が（どのように）わからないので教えてほしい」「こういうサンプル（実例を表示）があるけれども、期待通りに動かないのがどういう理由か教えてほしい（現状と理想のアウトプットイメージを並べる）」というような内容のほうが良いと思います。＞１からアドバイスをいただきたいです。　恐らく、皆様は「1から」ではなく、「せめて２や３まで自力で覚えた（または覚える努力をしている）」、という部分を期待しているのだ、と思います。

[_Victorique__]

質問を消さないで自分の間違いを認めたらどうですか？間違いを認められない人ほど見ていられないものはないですよ

Answer 1

このコードでは、そもそも１文書しか入れていないのでTF-IDFの測りようがありません。IDFとは何だと思っていますか？

ジャンルとは具体的に何ですか？
ラベルデータはあるのですか？
機械学習モデルとは具体的に何を想定しているのですか？ルールでもいいのでしょうか？
単語データはBoWで扱うのですか？それとも、分散表現で扱いますか？

このままだと丸投げという点には同意です。

Answer 2

テキストデータからtf-idf値が一定値以上の単語を抜き出し

この部分をあなたは理解しているのでしょうか？
あなたは少々機械学習に対する知識がなさすぎるように見えますのでここで質問する前にもう少し機械学習の勉強をして知識をつけて来てください。
このままですとただの丸投げになってしまいます。

Comments

[退会済みユーザー]

心配していただけるのはありがたいのですが、このサイトは分からないことを質問するためのサイトだと思うので、分からないことを分からないと質問することは間違っているのでしょうか。
私がいただきたいのはお説教ではなくアドバイスです。
お説教しかいただくことができないのであれば、あなたの時間をこのようなことに使うべきではないと思うます。

[_Victorique__]

私が指摘している部分は理解できているのでしょうか？出来ていないのに回答しても理解できませんよね？
それとも私に全部一から教えろと？
そういうのを丸投げって言うんですよ。

[退会済みユーザー]

別にあなたに答えてもらおうとは思っていません。
文句を言いたいだけなら放っておいていただけませんか？
１からアドバイスをいただきたいだけで、１からのアドバイス「だけ」をいただきたいわけではありません。
あなたには知識や技術があるから腹が立っているのは理解できます。
ただ、知識も技術もない私にはこういうサイトで相談するしかないのです。

[_Victorique__]

> 知識も技術もない私にはこういうサイトで相談するしかないのです。

テラテイルはなんでも教えてくれるサイトではありません。一から手取り足取り教えてくれる人が現れればいいですね

[LouiS0616]

最低限のことは調べませんか？
「こうこう言うことをしたい。ネットや書籍で調べてみると、Aという手法とBという手法があった。自分で検討した結果、Aを使ってみたい。しかし、自分ではこれ以上のことを調べられなかった。Aを実装するために参考になるサイトやライブラリはありませんか？」
これが最低限の質問です。