独自のstop wordテキストの適応について。

Question

以前、この質問に関する質問をさせていただきましたが、質問の仕方を変えた方がよいと感じ、新しく質問させてください。

私は、あるjsonファイルを使用しています。
私のjsonファイルは、下のURLのjsonファイルでワインについてのレビューについてのデータで、多くの種類のワインのレビューについてリストとして記載されています。
'https://github.com/tulip-lab/sit742/raw/master/Assessment/2019/data/wine.json'

行には”country”,"variety", "price", "point", "description"などの項目があります。
私のjsonファイルは下のような表になります。（１行が１レビューになってます。）

私は、このファイルの"description"の列で5000件以上のレビューに現れるユニグラムを求めることを目的としています。
また、ストップワードとして'stopwords.txt'に記載された単語を”description”から省いた状態でもとめなければなりません。
下のURLが'stopwords.txt'となっています。
'https://github.com/tulip-lab/sit742/raw/master/Assessment/2019/data/stopwords.txt'

以下が"description"の列で5000件以上のレビューに現れるユニグラムを求めるためのコードのテンプレートとなっています。

import re
import nltk
from nltk.tokenize import RegexpTokenizer
from nltk.probability import *
from itertools import chain
#from tqdm import tqdm
import codecs

with open('stopwords.txt') as f:
    stop_words = f.read().splitlines()
stop_words = set(stop_words)

# write your code here
# define your tokenize

tokenizer = RegexpTokenizer(r"\w+(?:[-']\w+)?")

# find top common words with document frequencies > 5000
# you may use function FreqDist() and sort()

# save your table to 'top_common_words.txt'

そして、下のコードが私が書いたコードです。

!pip install wget

import wget

link_to_data = 'https://github.com/tulip-lab/sit742/raw/master/Assessment/2019/data/wine.json'
DataSet = wget.download(link_to_data)

link_to_data = 'https://github.com/tulip-lab/sit742/raw/master/Assessment/2019/data/stopwords.txt'

DataSet = wget.download(link_to_data)

!ls

import json
import pandas as pd
import matplotlib.pyplot as plt

file = 'wine.json'

df = pd.read_json("wine.json")

import re
import nltk
from nltk.tokenize import RegexpTokenizer
from nltk.probability import *
from itertools import chain

import codecs

with open('stopwords.txt') as f:
    stop_words = f.read().splitlines()
stop_words = set(stop_words)

tokenizer = RegexpTokenizer(r"\w+(?:[-']\w+)?")

ファイルの"description"の列で5000件以上のレビューに現れるユニグラムを求めたい場合、私は自分が書いたコードの次にテンプレート通りに FreqDist()とsort()を使用すれば、そのまま"description"の列で5000件以上のレビューに現れるユニグラムを求めることができるのでしょうか。
それとも、 FreqDist()とsort()を使用する前にストップワードの記載された'stopwords.txt'を新たに”description”適応したりするためにほかにコードを書く必要があるのでしょうか。もしくは、そのほかにも何か書くべきコードがありましたら教えて頂けますでしょうか。

つまり、下に書いたテンプレートの部分でそれ以前に余分に書くべきコードが私の書いたコードと比較して何かある場合は教えて頂けますでしょうか。

# find top common words with document frequencies > 5000
# you may use function FreqDist() and sort()

お願いいたします。

Comments

[Lhankor_Mhy]

『私は自分が書いたコードの次にテンプレート通りに FreqDist()とsort()を使用すれば、そのまま"description"の列で5000件以上のレビューに現れるユニグラムを求めることができるのでしょうか。』とありますが、試しに実行してみる、という方法では判別できないのですか？

また、実行しても「求める」ことができたかどうか判別しない場合、回答者はなにをもって「求める」ことができるということを示せばよいですか？

[1mzmk]

すいません、単に FreqDist()とsort()を使用する以前にストップワードをjsonファイルから省きたくて、
その方法をお聞きしたかっただけです。
説明がややこしくなって、すいませんでした。

Answer 1

「ストップワードを除去」だけなら、以下のようにすれば良いのでは。空白区切りの文字列に変換してjsonに書き戻していますが、この辺をどう処理するかは任意です（私がやるなら文字列の配列にでもします）。

import pandas as pd
from nltk.tokenize import RegexpTokenizer

df = pd.read_json("wine.json")
with open('stopwords.txt') as f:
    stop_words = f.read().splitlines()
stop_words = set(stop_words)

tokenizer = RegexpTokenizer(r"\w+(?:[-']\w+)?")

def f(s):
    tokens = tokenizer.tokenize(s)
    return " ".join(word for word in tokens if word not in stop_words)

df["description"] = df["description"].map(f)
df.to_json("result.json")

Comments

[1mzmk]

丁寧にご回答いただきありがとうございました。
提示してくださったコードを入力後
df6 = pd.read_json("result.json")
と書き、ファイルを読み込みました。

そして最終的には
fd =nltk.FreqDist(tokens_l)
unigrams = nltk.unigrams(tokens_l)
fd = nltk.FreqDist(unigrams)

という形に持っていって ”result.json”の”discription”の列だけのユニグラムの頻度について求めてたいと考えているのですが、”result.json”を読み込み後、
tokens_l をどのようにコードを書いて定義すればよいのかがわかりません。

すいません、お手数をおかけしますが、よろしくお願いいたします。

[hayataka2049]

今忙しいのと、nltkの機能全部は把握していないので、一日くらい待ってください。急ぎなら別質問立てれば他の方が先に回答してくれるかもしれません。ただ、もう少し要件をしっかり定義しないと回答が得づらいかもしれません(tokens_lの値としていったいなにを想定しているのか、謎)。

[1mzmk]

下のコードのようにしてあるテキストファイルをFreqDisc()を用いてbigramを求めているサイトを見つけましたので、私のファイルはjsonファイルですが、そのようにしてtokens_lを定義して”result.json”の”discription”の列だけのユニグラムの頻度求めることができるのではないかと考えました。
URL：'http://yoshihikomuto.hatenablog.jp/entry/2012/12/18/043725'

(コード)　　
import nltk
>>> f = open('obama_inaugural_transcript.txt')
>>> raw = f.read()
>>> tokens = nltk.word_tokenize(raw) #テキストをトークンに分割

>>> raw #元のテキスト
'I stand here today humbled by the task before us, grateful for the trust you've bestowed, mindful of the sacrifices borne by our ancestors.\n\n I thank President Bush for his service to our nation ............................

>>> tokens #トークンへの分割後
['I','stand','here','today','humbled','by','the','task','before','us',',','grateful','for','the','trust','you',"'ve",'bestowed',',','mindful','of','the','sacrifices','borne','by','our','ancestors','.','I','thank','President','Bush','for','his','service','to','our','nation',
............................

>>> len(tokens) #単語数（ただし，大文字・小文字を区別している）
2648
>>> len(set(tokens)) #異なり語数（ただし，大文字・小文字を区別している）
974

tokens_l = [w.lower() for w in tokens]
>>> len(set(tokens_l))
938

#単語の出現頻度分布(Frequency Distribution)
>>> fd = nltk.FreqDist(tokens_l)

#頻度分布のプロット（上位50件）
>>> fd.plot(50)

#バイグラムを作る。
>>> bigrams = nltk.bigrams(tokens_l)

#バイグラムの頻度分布を得る。
>>> fd = nltk.FreqDist(bigrams)

よろしくお願いします。

[hayataka2049]

憶測混じりですが、description列のデータすべてをこの回答のような方法でリストにしてストップワード除去し、結果を結合すればそのコードで使っているtokens_lと同様に使えると思います。

[1mzmk]

このコードにならって、df7 = df['description']として、 ”description”の単語をトークンに分割するために
tokens = nltk.word_tokenize(df7)
とするとエラーになってしまい、
tokens を定義することができないのですが、
どのようにtokensを定義すればよいでしょうか。