Python & JSON: ValueError: Unterminated string starting at:のエラーで困っています。

Question

jsonファイルからtags部分のみを抽出して新しいファイルに書き出すという作業をしています。
環境はMacでpython2.7(anaconda経由)を使用しております。

ソースコードは以下の通りです。

import codecs
import json
import glob


allfile = glob.glob("*.jsonl")

for file in allfile:
    data = []
    with codecs.open(file,"r","utf-8") as f:
        for i in f:
            data.append(json.loads(i))
            
    text = []
    for i in data:
        text.extend(i["tags"])
    
    with codecs.open("new_tags.txt","a","utf-8") as nt:
        for txt in text:
            nt.writelines(txt+"\n")

始めはうまく抽出処理ができていたのですが、途中のファイルから

ValueError: Unterminated string starting at: line 1 column 131 (char 130)

というエラーが出ており、処理を進められません。

扱っているjsonファイルの中身は以下のようなものです。（先頭１行）

{"video_id":"nm16580085","watch_num":81,"comment_num":2,"mylist_num":0,"title":"ほとんど紅魔郷風","description":"初投です。まだまだ未熟ですが・・・・よろしくおねがいします","category":"東方","tags":["東方"],"upload_time":1325364768,"file_type":"swf","length":281,"size_high":3125649,"size_low":3125596}

調べても原因がよくわからない初心者です。

###Traceback （発生しているメッセージ）

runfile('/Users/yo/Downloads/json_l.py', wdir='/Users/yo/Downloads')
Traceback (most recent call last):

  File "<ipython-input-7-41ae6a345b74>", line 1, in <module>
    runfile('/Users/yo/Downloads/json_l.py', wdir='/Users/yo/Downloads')

  File "/Users/yo/anaconda/lib/python2.7/site-packages/spyder/utils/site/sitecustomize.py", line 880, in runfile
    execfile(filename, namespace)

  File "/Users/yo/anaconda/lib/python2.7/site-packages/spyder/utils/site/sitecustomize.py", line 94, in execfile
    builtins.execfile(filename, *where)

  File "/Users/yo/Downloads/json_l.py", line 19, in <module>
    data.append(json.loads(i))

  File "/Users/yo/anaconda/lib/python2.7/json/__init__.py", line 339, in loads
    return _default_decoder.decode(s)

  File "/Users/yo/anaconda/lib/python2.7/json/decoder.py", line 364, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())

  File "/Users/yo/anaconda/lib/python2.7/json/decoder.py", line 380, in raw_decode
    obj, end = self.scan_once(s, idx)

ValueError: Unterminated string starting at: line 1 column 131 (char 130)

どなたか同じ経験がある方がおりましたら、どういう状況なのか、改善案のヒントとなることがあれば教えていただけませんでしょうか？

Comments

[NCC1701]

NO CODE NO ANSWER https://teratail.com/help/question-tips#questionTips3-5

[can110]

提示エラーが発生する.jsonlファイルの先頭１行を追記すると回答得られやすいです。

[can110]

提示されたjson文字列は問題ないようです（エラー再現しませんでした）。今一度、エラー発生するファイルが正しいか確認、またエラー詳細(Tracebackすべて)を追記すると回答えられるかもしれません。

[can110]

追記ありがとうございます。エラー発生した.jsonlファイルのエンコーディングは正しく「utf-8」でしょうか？または、それを確認した手段を提示いただけますでしょうか？

Answer 1

ある*.jsonlファイルのJSONが壊れているはずです。
data.append(json.loads(i))でエラーが発生しているのではないですか？
（質問の段階でエラーの発生行は記載すべきです。）
問題のファイルを除外するか、JSONファイルそのものを修正するしかないでしょう。

for file in allfile:
  print(file)

のようにファイル名を表示し、エラーでストップした直前に表示されたファイルが原因のはずです。

Comments

[yoyoyo0205]

Tracebackでは、
obj, end = self.scan_once(s, idx)
の部分がハイライトされています・・・。

[yoyoyo0205]

初心者なのですが、恐らくいずれかのJSONが壊れているかもしれません。
効率の良いやり方がわからないのですが探してみます。

[NCC1701]

for file in allfile:
print(file)
のようにファイル名を表示し、エラーでストップした直前に表示されたファイルが原因のはずです。