質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

1363閲覧

PandasでのIDFの求め方

1mzmk

総合スコア42

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2019/04/04 06:51

編集2019/04/04 08:38

私は、あるjsonファイルを使用しています。
私のjsonファイルは、下のURLのjsonファイルでワインについてのレビューについてのデータで、多くの種類のワインのレビューについてリストとして記載されています。
'[https://github.com/tulip-lab/sit742/raw/master/Assessment/2019/data/wine.json']
行には”country”,"variety", "price", "point", "description"などの項目があります。
私のjsonファイルは下のような表になります。(1行が1レビューになってます。)

イメージ説明
まず、私のjsonファイルをストップワードとして'stopwords.txt'に記載された単語を”description”から省いた状態にしました。
下のURLが'stopwords.txt'となっています。
'https://github.com/tulip-lab/sit742/raw/master/Assessment/2019/data/stopwords.txt'
そして、この、ストップワードを取り除いた”description”だけのものを”df9”と定義しました。

以下のコードで定義した”df9”のTF-IDF >0.4 となる単語とそのTF-IDFの値を出力したいと思ってます。

python

1import pandas as pd 2from nltk.tokenize import RegexpTokenizer 3 4df = pd.read_json("wine.json") 5with open('stopwords.txt') as f: 6 stop_words = f.read().splitlines() 7stop_words = set(stop_words) 8 9tokenizer = RegexpTokenizer(r"\w+(?:[-']\w+)?") 10 11def f(s): 12 tokens = tokenizer.tokenize(s) 13 return " ".join(word for word in tokens if word not in stop_words) 14 15df["description"] = df["description"].map(f) 16df.to_json("result.json") 17 18df6 = pd.read_json("result.json") 19 20df7 = df["description"] 21 22df8 = df6.query('variety == "Shiraz"') 23 24df9 = df8["description"] 25df9

そして”df9”のTF-IDF >0.4 となる単語とそのTF-IDFの値を出力するために以下のコードを書きました。

python

1from sklearn.feature_extraction.text import TfidfVectorizer 2tfidf = TfidfVectorizer(analyzer='word', stop_words = 'english') 3 4vecs = tfidf.fit_transform(df9)

その後、[https://teratail.com/questions/84025]
にあるように

python

1TF_IDF = vecs.toarray() 2terms = tfidf.get_feature_names() 3for idx, word in zip(*np.where(TF_IDF> 0.4)): 4 print("INDEX:{}, WORD:{}, TF-IDF:{}".format(idx, terms[word], TF_IDF[(idx,word)]))

という感じでコードを書いて”df9”のTF-IDF >0.4 となる単語とそのTF-IDFの値を出力しようとしたのですが、
np.where()という属性がpandasには存在しないのでエラーとなってしまいました。
なので、どのように書けば、エラーが発生せずに、”df9”のTF-IDF >0.4 となる単語とそのTF-IDFの値を出力できるのでしょうか?

よろしくお願いします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

python_master

2019/04/04 08:24

jsonの中身がわからないとパラメータを提示されても答えようがないかと思われます。
guest

回答1

0

ベストアンサー

np.wherenumpyの関数です。import numpy as npとか書いておきましょう。

これまでの質問を見ていてもプログラミング全般に不慣れな方という印象を受けるので、pythonの基礎からしっかりやることをおすすめします。まずは基本的なコードを書けるようになることで、データ分析ができるようになるのはそれからです。

投稿2019/04/04 10:20

hayataka2049

総合スコア30933

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

1mzmk

2019/04/04 13:50

ご回答いただきありがとうございます。 おかげさまで、解決することができました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問