質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Jupyter

Jupyter (旧IPython notebook)は、Notebook形式でドキュメント作成し、プログラムの記述・実行、その実行結果を記録するツールです。メモの作成や保存、共有、確認などもブラウザ上で行うことができます。

Mecab

Mecabは、オープンソースの形態素解析エンジンです。 言語、辞書、コーパスに依存しない汎用的な設計を基本方針としています。 Mecabの由来は、開発者の好物である和布蕪(めかぶ)から名づけられました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

自然言語処理

自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

Q&A

解決済

1回答

1113閲覧

各レビューのTFIDF の平均を出したいが、string indices must be integersのエラーが出てしまう。

mlkwy35

総合スコア1

Jupyter

Jupyter (旧IPython notebook)は、Notebook形式でドキュメント作成し、プログラムの記述・実行、その実行結果を記録するツールです。メモの作成や保存、共有、確認などもブラウザ上で行うことができます。

Mecab

Mecabは、オープンソースの形態素解析エンジンです。 言語、辞書、コーパスに依存しない汎用的な設計を基本方針としています。 Mecabの由来は、開発者の好物である和布蕪(めかぶ)から名づけられました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

自然言語処理

自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

0グッド

0クリップ

投稿2021/12/08 00:17

編集2021/12/08 05:57

前提・実現したいこと

レビューデータのtfidfを使って情報量の多いレビューの抽出を行なっています。
手順としては
0. mecabを使ったレビュー文の形態素解析
0. ストップワードや品詞の指定による単語の取捨選択
0. scikit-learnを使った2の単語(名詞・一般)のtfidf算出
0. 各レビューのtfidfの平均値の算出

といった感じで3までは出来ているのですが、4がうまくいきません。
4に関してましてはこちらの記事の参考にしており、こちらを応用してレビューIDとtfidfの平均を出力し、tfidfの平均値をdfに格納したいと考えております。
なおMacを使用しており、言語はPython、Jupyter Notebookを使用しております。

初心者の質問で申し訳ございませんが回答のほどよろしくお願いします。

Python

1import pandas as pd 2df = pd.read_csv("review1.csv") 3#レビューデータにはレビューID、レビュー文、4つの評価項目の5段階評価、総合評価(4つの評価項目の平均)が格納されています。規約の関係でデータの詳細を載せることができません。 4 5#形態素解析を行い、その結果をデータフレームに格納 6import MeCab 7import re 8tagger = MeCab.Tagger ('-d /usr/local/lib/mecab/dic/mecab-ipadic-neologd') 9 10def leaving_space_between_words_column(text): 11 splitted = ' '.join([x.split('\t')[0] for x in tagger.parse(text).splitlines()[:-1]]) 12 return splitted 13df['形態素解析'] = df['レビュー文'].map(leaving_space_between_words_column) 14 15#名詞・一般のみを抽出し、データフレームに格納 16def leaving_space_between_meishi_column(text): 17 splitted = ' '.join([x.split('\t')[0] for x in tagger.parse(text).splitlines()[:-1] 18 if (x.split('\t')[1].split(',')[0] in ["名詞"]) and (x.split('\t')[1].split(',')[1] in ["一般"])]) 19 return splitted 20df['名詞'] = df['形態素解析'].map(leaving_space_between_meishi_column) 21 22#名詞・一般の単語のtfidf値出力 23from sklearn.feature_extraction.text import TfidfVectorizer 24def words_tfidfs(): 25 vectorizer = TfidfVectorizer(min_df=0.05) 26 X = vectorizer.fit_transform(df["名詞"]) 27 #print('feature_names:', vectorizer.get_feature_names()) 28 words = vectorizer.get_feature_names() 29 word_info = [] 30 for doc_id, vec in zip(df["レビューID"], X.toarray()): 31 #print('doc_id:', doc_id) 32 for w_id,tfidf in sorted(enumerate(vec), key = lambda x:x[1],reverse=True): 33 lemma = words[w_id] 34 TFIDF_scores = {"ID:{},word:{},tfidf:{}".format(doc_id,lemma,tfidf)} 35       #レビューID,手順3で求めた名詞・一般の単語,その単語のtfidf 36 word_info.append(TFIDF_scores) 37 return word_info 38 39#同一レビューIDのtfidfの平均値を求める 40def get_sent_score(): 41 sentence_info = [] 42 for doc in df: 43 sent_score = 0 44 for i in range(0,len(word_info)): 45 temp_dict = TFIDF_scores[i] 46 if doc["doc_id"] == temp_dict["ID"]: 47 sent_score += temp_dict["tfidf"] 48 tfidf_mean=average(sent_score) 49 temp = {"ID":eval(doc["doc_id"]),"TFIDF_mean":tfidf_mean} 50 sentence_info.append(temp) 51 52 return sentence_info 53 54#tempを出力したい 55sentence_score = get_sent_score() 56 57 58 59```### エラー文 60```python 61TypeError Traceback (most recent call last) 62/var/folders/jc/q646bg4n6sgbsq38v8vjg6bw0000gp/T/ipykernel_6972/3767257272.py in <module> 63----> 1 sentence_score = get_sent_score() 64 65/var/folders/jc/q646bg4n6sgbsq38v8vjg6bw0000gp/T/ipykernel_6972/1195801929.py in get_sent_score() 66 8 sent_score += temp_dict["tfidf"] 67 9 tfidf_mean=average(sent_score) 68---> 10 temp = {"ID":eval(doc["doc_id"]),"TFIDF_mean":tfidf_mean} 69 11 sentence_info.append(temp) 70 12 71 72TypeError: string indices must be integers

追記

先ほどの質問について説明が不足しておりご不便をおかけいたしました。関数のエラーについては解決できたのですが、次は別のエラーで苦労しています。有識者の方、ぜひ回答いただければと思います。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

jbpb0

2021/12/08 03:23

pythonのコードの一番最初の行のすぐ上に ```python だけの行を追加してください また、pythonのコードの一番最後の行のすぐ下に ``` だけの行を追加してください または、 https://teratail.storage.googleapis.com/uploads/contributed_images/56957fe805d9d7befa7dba6a98676d2b.gif を見て、そのようにしてみてください 現状、コードがとても読み辛いです 質問にコードを載せる際に上記をやってくれたら、他人がコードを読みやすくなり、コードの実行による現象確認もやりやすくなるので、回答されやすくなります
mlkwy35

2021/12/08 06:02

ご不便おかけしてしまい申し訳ございません。初めて利用したため、記述方法について理解が足りていませんでした。 少しでも読みやすいようにコードの部分を編集させていただきました。今後利用する際も気をつけて参ります。貴重なご指摘ありがとうございます。
guest

回答1

0

ベストアンサー

word_infはwords_tfidfsという関数のローカル変数です。
そのためget_sent_scoreという関数の中からword_infという変数は見えていません。

全体のロジックが分からないので、修正方法は不明です。

ローカル変数のスコープについては、公式ドキュメント 実行モデル 4.2. 名前づけと束縛 (naming and binding)に説明がありますが、Pythonに慣れていないと読むのは難しいかもしれません。

投稿2021/12/08 00:42

編集2021/12/08 01:22
ppaul

総合スコア24666

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

mlkwy35

2021/12/08 06:00

回答ありがとうございます。ローカル関数について添付いただいたリンクを参照しつつ今一度参考書を読み直し、関数エラーについて解決できました! 全体のロジックについて不明瞭な点が多くなってしまい申し訳ございません。 そちらに関しては少しでもロジックをご理解ただけるように編集させていただきました。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問