テキストファイルへ一部のデータしか保存されない。

Question

私は、あるjsonファイルを使用しています。
私のjsonファイルは、下のURLのjsonファイルでワインについてのレビューについてのデータで、多くの種類のワインのレビューについてリストとして記載されています。
'https://github.com/tulip-lab/sit742/raw/master/Assessment/2019/data/wine.json'

行には”country”,"variety", "price", "point", "description"などの項目があります。
私のjsonファイルは下のような表になります。（１行が１レビューになってます。）

このjsonファイルの”description”の列に含まれる単語でTF-IDF＞0.4となるものを下のコードで出力しました。

import pandas as pd
from nltk.tokenize import RegexpTokenizer

df = pd.read_json("wine.json")
df2 = df.dropna(subset=['points','price'])
with open('stopwords.txt') as f:
    stop_words = f.read().splitlines()
stop_words = set(stop_words)

tokenizer = RegexpTokenizer(r"\w+(?:[-']\w+)?")

def f(s):
    tokens = tokenizer.tokenize(s)
    return " ".join(word for word in tokens if word not in stop_words)

df2["description"] = df2["description"].map(f)
df2.to_json("result.json")

df6 = pd.read_json("result.json")

df7 = df2["description"]

df8 = df6.query('variety == "Shiraz"')

df9 = df8["description"]
df9

from sklearn.feature_extraction.text import TfidfVectorizer
tfidf = TfidfVectorizer(analyzer='word', stop_words = 'english')

vecs = tfidf.fit_transform(df9)

TF_IDF = vecs.toarray()
print(TF_IDF[TF_IDF>0.4])

import numpy as np

TF_IDF = vecs.toarray()
terms = tfidf.get_feature_names()
for idx, word in zip(*np.where(TF_IDF> 0.4)):
   print("INDEX:{}, WORD:{}, TF-IDF:{}".format(idx, terms[word], TF_IDF[(idx,word)])) 

上のコードを出力すると、下のようなTF-IDF＞0.4の単語の一覧とTF-IDFのそれぞれの値が出力されました。

これを'key_Shiraz.txt'という名前のテキストファイルに保存するために下のコードを入力しました。

df10 =  print("INDEX:{}, WORD:{}, TF-IDF:{}".format(idx, terms[word], TF_IDF[(idx,word)]))

text = df10
with open('key_Shiraz.txt','w') as f:
    f.write(text)

しかし、'key_Shiraz.txt'のファイルには下の写真のようにTF-IDF＞0.4の単語の一覧とTF-IDFのそれぞれの値が出力されておらず、一つの行しか保存されていませんでした。

私が出力したすべてのTF-IDF＞0.4の単語の一覧とTF-IDFのそれぞれの値を”key_Shiraz.txt”
に保存するためにはdf10をどのように定義すればよろしいのでしょうか。

Answer 1

提示のコードは１行を出力するようなコードなので、そういう結果になりますね
複数行保存させたいならそのようにコードを書く必要があります

Comments

[1mzmk]

その複数行保存させるためのコードはどのように書くことができるのでしょうか？
お願いします。

Answer 2

printがちゃんとできているなら、そこでファイルへの書き込みを同時にやってしまえば済むのでは。

Comments

[1mzmk]

TF_IDF = vecs.toarray()
terms = tfidf.get_feature_names()
for idx, word in zip(*np.where(TF_IDF> 0.4)):
text = print("INDEX:{}, WORD:{}, TF-IDF:{}".format(idx, terms[word], TF_IDF[(idx,word)]))
with open('key_Shiraz.txt','w') as f:
f.write(text)
と書くということでしょうか？

[KojiDoi]

openは予め別のところで行って開きっぱなしにしておかないとまずいでしょうね。