_pickle.UnpicklingError: invalid load key, '\x27'. というエラーについて【ネガポジ判定】

Question

実現したいこと

下記のサイトを参考にしてネガポジ判定を行いたいと考えています。
https://tetraup.com/feed/development/backend/nlp-train/
どうも、判定に必要な辞書の部分で詰まってしまい、どなたかご教授いただけますと幸いです。
（辞書の作り方は書いていないので、メモ帳で作りました...）←解決。

前提

一応辞書は作成し、アップロード済みです。
辞書の中身は以下です。

'私':'e', 'は':'e', 'オオカミ':'n', 'で':'e', 'は':'e', 'ない':'n', 'ので':'e', '信じ':'p', 'て':'e', 'ください':'e'       

⇒テキストからJSONに書き改め済み。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "d:/selfpy/mining/m01.py", line 6, in <module>
    word_dic=json.load(f)
  File "C:\Users\81904\AppData\Local\Programs\Python\Python38-32\lib\json\__init__.py", line 293, in load
    return loads(fp.read(),
  File "C:\Users\81904\AppData\Local\Programs\Python\Python38-32\lib\json\__init__.py", line 357, in loads
    return _default_decoder.decode(s)
  File "C:\Users\81904\AppData\Local\Programs\Python\Python38-32\lib\json\decoder.py", line 340, in decode
    raise JSONDecodeError("Extra data", s, end)
json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 10)
    word_dic=json.load(f)
  File "C:\Users\81904\AppData\Local\Programs\Python\Python38-32\lib\json\__init__.py", line 293, in load
    return loads(fp.read(),
  File "C:\Users\81904\AppData\Local\Programs\Python\Python38-32\lib\json\__init__.py", line 357, in loads
    return _default_decoder.decode(s)
  File "C:\Users\81904\AppData\Local\Programs\Python\Python38-32\lib\json\decoder.py", line 340, in decode
    raise JSONDecodeError("Extra data", s, end)
json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 10)PS D:\selfpy>

該当のソースコード

import json
import MeCab

# 辞書読み込む
decorder=json.JSONDecoder()
with open("word_dic.json",mode="r",encoding="utf-8_sig") as f:
    word_dic=json.load(f)
#MeCab準備
tagger = MeCab.Tagger()

#ファイル読み込む
texts= ["私はオオカミではないので信じてください。"]
for text in texts:
    print("評価するテキスト：", text)
    point = 0
#     MeCab
    s = tagger.parse(text)
    
#         スペースで分割して品詞側を取得
    for line in s.split("\n"):
#         EOSだったらループを抜ける
        if line == "EOS": break
#         さらにカンマで分割
        params = line.split("\t")[1].split(",")
#         品詞を取得
        hinshi = params[0]
#         単語の原型を取得
        word = params[6] 
        if not (hinshi in ['名詞', '動詞', '形容詞']): continue
#             取得した単語の原型が辞書に含まれているか調べて点数をつける
        if word in word_dic:
            negaposi = word_dic[word]
            if negaposi == 'n':
                point -= 1
            elif negaposi == 'p':
                point += 1
            else:
                point += 0
            print(word, negaposi)
    
    print("score:", point)
    print("形態素解析結果")
    print(s)

試したこと

• 普通のJSONファイルの読み込みだとエラーが出たので、”utf-8”に設定
• 以下作成したJSONファイル

{"私":"e"}
{"は":"e"}
{"オオカミ":"n"}
{"で":"e"}
{"ない":"e"}
{"ので":"e"}
{"信じ":"p"}
{"て":"e"}
{"ください":"e"}

補足情報（FW/ツールのバージョンなど）

些細なことでも構いませんので、𠮟咤激励お待ちしております...
よろしくお願いいたします。

Answer 1

他の回答にもありますが、書いてある辞書データの構造とプログラムで 読んでいるデータの構造が異なっています。一方はテキストで一方はpickleデータです。
参考にしているサイトの情報が不足しているということです。
作者に問い合わせて対処してもらうのがベストでしょうが、古い記事なので、対応してもらえないかもしれません。

自力でなんとかするのであれば、以下の 、読んでいるところと使っているところから見て、単にそのまま、作った辞書データをpythonの辞書として読みこめばよさそうです。

word_dic = pickle.load(open("word_dic.pickle.txt", "rb"))

        if word in word_dic:
            negaposi = word_dic[word]
            if negaposi == 'n':
                point -= 1
            elif negaposi == 'p':
                point += 1
            else:
                point += 0
            print(word, negaposi)

辞書の中身は以下です。
'私':'e', 'は':'e', 'オオカミ':'n'

とある形式だと、辞書として読むのが難しいので、他の回答にあるように、JSON形式に変更して読むのが楽じゃないかと思います。

読むjsonファイルはこんな感じ。 word_dic.jsonとしましょう。

{
  "私": "e", 
  "は": "e", 
  "オオカミ": "n"
}

読むのはこんな感じ

import json

with open('word_dic.json', mode='r') as wd:
    word_dic = json.load(wd)

Comments

[SmaSTATION]

ご回答ありがとうございます。
JSONファイルに変更して、読み込むタイミングでJSON側のエラーで怒られてしまいました...
（json.JSONDecoder()の付けたしとendordingの設定をおこなった段階です...）

[TakaiY]

encodingはファイルに合せて必要ですが、JSONDecodeが必要な理由がわかりません。

[TakaiY]

どのようなエラーが出たのでしょう？

[SmaSTATION]

教えていただいた通りにやると、
File "d:/selfpy/mining/m01.py", line 6, in <module>
word_dic = json.load(wd)
File "C:\Users\81904\AppData\Local\Programs\Python\Python38-32\lib\json\__init__.py", line 293, in load
return loads(fp.read(),
File "C:\Users\81904\AppData\Local\Programs\Python\Python38-32\lib\json\__init__.py", line 357, in loads
return _default_decoder.decode(s)
File "C:\Users\81904\AppData\Local\Programs\Python\Python38-32\lib\json\decoder.py", line 340, in decode
raise JSONDecodeError("Extra data", s, end)
json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 10)
というようなエラーでした...

[SmaSTATION]

すみません、なんとか読み込めました！
ありがとうございます。
（JSONファイルを配列形式にしたらいけました...）

[TakaiY]

> JSONファイルを配列形式にしたらいけました
そうなんですね。 ちょっと解せないですね。 前のコメントのエラーは、JSONの書式がおかしいというエラーです。 たとえば全角の空白が入っていたなど。

いずれにしても、うまくいったのであれば、よかったです。

Answer 2

word_dic = pickle.load(open("word_dic.pickle.txt", "rb"))

pickle.load() で読み込めるのは pickle.dump() などで生成したバイナリだけです。手書きのデータは読めません。

手書きのデータを扱いたいのなら、データを JSON にして json.load() などで読み込むのが良いでしょう。