機械学習のためのデータセット作成

Question

###前提・実現したいこと
テキストデータからtf-idf値が一定値以上の単語を抜き出し、そのデータをデータセットとして機械学習モデルに渡し、ジャンルを出力させるプログラムを作成したいと思っています。

現在、そのためのデータセットを準備しようとしている段階で、プログラム起動時にテキストファイル名と単語を絞り込むための数値を入力し、「文書（１つの文の）番号、単語、tf-idf値」を表示させることしかできていません。
これを[単語,tf-idf値]のリストを作成するように変更して機械学習させたいのですが、このようなデータセットの作成方法が正しいのか意見をいただきたいです。

また、現在のプログラムではテキストファイルを「全文書」、１つの文を「１つの文書」とみなしてtf-idf値を計算しているため、同じ単語を異なるtf-idf値で格納してしまいます。
なのでテキストファイルを「１つの文書」とみなすにはどうすればよいのか、それができた場合に、「全文書」はどのように定義するべきなのかを教えていただきたいです。

###作成途中のコード

# -*- coding: utf-8 -*-
#keyword表示
#指定したテキストファイル（日本語は分かち書きされたもののみ）に対応

import numpy as np
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
#from janome.tokenizer import Tokenizer

#CountVectorizer():文書ごとの単語の出現頻度を取得
count = CountVectorizer()

#文書を指定
doc = input('select file(ex,○○.txt):')
doc_name = doc
f = open(doc, encoding = 'utf-8')
doc = f.readlines()
f.close()

#絞り込みの基準を設定
level = float(input('set level(0.0 <= level <= 1.0):'))

#文書を表示
print('\n%s:%s\n' %(doc_name, doc))

#N種類の文字列を0からN-1までの整数に置き換える
bag = count.fit_transform(doc)
TF = bag.toarray()

#ディクショナリを表示
dic = count.get_feature_names()
print('dictionary:%s\n' %dic)

#各単語のインデックスを表示
print('index:%s\n' %count.vocabulary_)

#TfidfTransformer:(文書内の)TF-IDFを計算
tfidf = TfidfTransformer(use_idf = True, norm = 'l2', smooth_idf = True)
np.set_printoptions(precision = 2)
TF_IDF = tfidf.fit_transform(bag).toarray()

my_dic = []
w_cnt = 0

#keywordを表示
for idx, word, in zip(*np.where(level <= TF_IDF)):
    print('doc_num:%s, keyword:%s, TF-IDF:%s' %(idx, dic[word], TF_IDF[(idx, word)]))
    my_dic = list([(dic[word], TF_IDF[(idx, word)])]) #エラーは出ない
    my_dic[w_cnt] = list([(dic[word], TF_IDF[(idx, word)])]) #エラーが出る
    w_cnt += 1

print('word count:%s'%w_cnt)

#データセットを表示
print(my_dic)

###補足情報
説明不足なところがあると思うので、不明なところがあれば質問をしていただけるとありがたいです。

Answer 1

エラーを取るだけならappendを使えばよいです。

my_dic = []
my_dic[0] = list([])     # Error
my_dic.append(list([]))  # Ok

---

「ValueError: Iterable over raw text documents expected, string object received.」

というエラーが出てしまいます。

改めまして、こいつでどうでしょう？

doc_name = input('select file(ex,○○.txt):')
with open(doc_name, encoding = 'utf-8') as f:
    doc = [f.read().replace('\n', ' ')]   # 改行文字を空白に置き換える

以下、残骸

こいつでどうでしょう？

doc_name = input('select file(ex,○○.txt):')
with open(doc_name, encoding = 'utf-8') as f:
    doc = f.read().split('\n')

関係ないところもちょいちょい書き直してしまいました。
失礼しました、これはreadlinesとほぼ一緒です。

Comments

[退会済みユーザー]

ありがとうございます。
リストの作成はできました。
readlines()をread()に変更した場合に
「ValueError: Iterable over raw text documents expected, string object received.」
というエラーが出てしまいます。
readlines()が各行を「１つの文書」とみなしている原因ということは理解することができたのですが、エラーの対処法が分かりません。
お手数をおかけしますが、アドバイスをいただきたいです。

[退会済みユーザー]

回答ありがとうございます。
アドバイスをいただいたのは
"""python
doc = input('select file(ex,○○.txt):')
doc_name = doc
f = open(doc, encoding = 'utf-8')
doc = f.read()
f.close()
"""
の部分を書き換えればよいのでしょうか？
間違っている場合、どの部分を削除し、書き換えるのが正しいのかを教えていただきたいです。

[LouiS0616]

その箇所であってます。
ちょっとファイルの開閉の部分もいじっていますが、次のように書き換えても同じです。
doc = input('select file(ex,○○.txt):')
doc_name = doc
f = open(doc, encoding = 'utf-8')
doc = f.read().split('\n')
f.close()
まあ、冗長な部分が気になって、お節介しただけです。

[退会済みユーザー]

書き換えることはできたのですが、相変わらず各行を１つの文書とみなしているようで、同じ別の行にある同じ単語を異なるtf-idf値で格納しているようです。
変更をしたことでどのように変わったのか教えていただきたいです。

[LouiS0616]

激しく凡ミスをしました。少々お待ちください。

[退会済みユーザー]

ありがとうございます。
よろしくお願いします。

[退会済みユーザー]

テキストファイルを１つの文書とみなし、リストを作成させることができました。
丁寧なアドバイスをしていただき、ありがとうございます。