jsonファイルのシングルクォーテーションをダブルクォーテーションに置換するコードが書きたい

Question

機械学習用にjsonファイルを読み込もうとしたところクォーテーションの違いによってエラーが起きてしまったので、
pythonのプログラミングでシングルクォーテーションをダブルクォーテーションに置換するコードを書きたいと思っています。

具体的なコード例やサイトなどがあればお聞きしたいです。

0    {'face_token': '3d03eb39f7479435db8ce3eb171f47b6', 'face_rectangle': {'top': 64, 'left': 31, 'width': 214, 'height': 214}, 'landmark': {'contour_chin': {'x': 117, 'y': 273}, 'contour_left1': {'x': 33, 'y': 101}, 'contour_left2': {'x': 33, 'y': 124}, 'contour_left3': {'x': 35, 'y': 147}, 'contour_left4': {'x': 37, 'y': 169}, 'contour_left5': {'x': 42, 'y': 192}, 'contour_left6': {'x': 49, 'y': 213}, 'contour_left7': {'x': 61, 'y': 233}, 'contour_left8': {'x': 76, 'y': 250}, 'contour_left9': {'x': 93, 'y': 265}, 'contour_right1': {'x': 247, 'y': 107}, 'contour_right2': {'x': 246, 'y': 133}, 'contour_right3': {'x': 242, 'y': 159}, 'contour_right4': {'x': 238, 'y': 184}, 'contour_right5': {'x': 230, 'y': 209}, 'contour_right6': {'x': 215, 'y': 230}, 'contour_right7': {'x': 195, 'y': 247}, 'contour_right8': {'x': 171, 'y': 260}, 'contour_right9': {'x': 146, 'y': 271}, 'left_eye_bottom': {'x': 77, 'y': 107}, 'left_eye_center': {'x': 79, 'y': 101}, 'left_eye_left_corner': {'x': 57, 'y': 101}, 'left_eye_lower_left_quarter': {'x': 66, 'y': 104}, 'left_eye_lower_right_quarter': {'x': 89, 'y': 107}, 'left_eye_pupil': {'x': 79, 'y': 99}, 'left_eye_right_corner': {'x': 100, 'y': 107}, 'left_eye_top': {'x': 79, 'y': 92}, 'left_eye_upper_left_quarter': {'x': 67, 'y': 94}, 'left_eye_upper_right_quarter': {'x': 91, 'y': 97}, 'left_eyebrow_left_corner': {'x': 42, 'y': 80}, 'left_eyebrow_lower_left_quarter': {'x': 55, 'y': 76}, 'left_eyebrow_lower_middle': {'x': 69, 'y': 77}, 'left_eyebrow_lower_right_quarter': {'x': 83, 'y': 84}, 'left_eyebrow_right_corner': {'x': 99, 'y': 89}, 'left_eyebrow_upper_left_quarter': {'x': 54, 'y': 65}, 'left_eyebrow_upper_middle': {'x': 71, 'y': 65}, 'left_eyebrow_upper_right_quarter': {'x': 87, 'y': 74}, 'mouth_left_corner': {'x': 78, 'y': 189}, 'mouth_lower_lip_bottom': {'x': 124, 'y': 230}, 'mouth_lower_lip_left_contour1': {'x': 98, 'y': 208}, 'mouth_lower_lip_left_contour2': {'x': 87, 'y': 208}, 'mouth_lower_lip_left_contour3': {'x': 101, 'y': 223}, 'mouth_lower_lip_right_contour1': {'x': 149, 'y': 210}, 'mouth_lower_lip_right_contour2': {'x': 159, 'y': 211}, 'mouth_lower_lip_right_contour3': {'x': 145, 'y': 224}, 'mouth_lower_lip_top': {'x': 124, 'y': 217}, 'mouth_right_corner': {'x': 168, 'y': 193}, 'mouth_upper_lip_bottom': {'x': 125, 'y': 198}, 'mouth_upper_lip_left_contour1': {'x': 117, 'y': 191}, 'mouth_upper_lip_left_contour2': {'x': 97, 'y': 189}, 'mouth_upper_lip_left_contour3': {'x': 102, 'y': 194}, 'mouth_upper_lip_right_contour1': {'x': 133, 'y': 191}, 'mouth_upper_lip_right_contour2': {'x': 151, 'y': 191}, 'mouth_upper_lip_right_contour3': {'x': 147, 'y': 195}, 'mouth_upper_lip_top': {'x': 125, 'y': 193}, 'nose_contour_left1': {'x': 109, 'y': 104}, 'nose_contour_left2': {'x': 100, 'y': 141}, 'nose_contour_left3': {'x': 105, 'y': 170}, 'nose_contour_lower_middle': {'x': 123, 'y': 178}, 'nose_contour_right1': {'x': 140, 'y': 105}, 'nose_contour_right2': {'x': 148, 'y': 144}, 'nose_contour_right3': {'x': 141, 'y': 172}, 'nose_left': {'x': 91, 'y': 158}, 'nose_right': {'x': 155, 'y': 162}, 'nose_tip': {'x': 124, 'y': 164}, 'right_eye_bottom': {'x': 173, 'y': 109}, 'right_eye_center': {'x': 172, 'y': 104}, 'right_eye_left_corner': {'x': 152, 'y': 106}, 'right_eye_lower_left_quarter': {'x': 162, 'y': 108}, 'right_eye_lower_right_quarter': {'x': 184, 'y': 108}, 'right_eye_pupil': {'x': 172, 'y': 102}, 'right_eye_right_corner': {'x': 193, 'y': 105}, 'right_eye_top': {'x': 172, 'y': 95}, 'right_eye_upper_left_quarter': {'x': 161, 'y': 98}, 'right_eye_upper_right_quarter': {'x': 183, 'y': 98}, 'right_eyebrow_left_corner': {'x': 150, 'y': 92}, 'right_eyebrow_lower_left_quarter': {'x': 169, 'y': 90}, 'right_eyebrow_lower_middle': {'x': 186, 'y': 86}, 'right_eyebrow_lower_right_quarter': {'x': 202, 'y': 84}, 'right_eyebrow_right_corner': {'x': 216, 'y': 87}, 'right_eyebrow_upper_left_quarter': {'x': 166, 'y': 79}, 'right_eyebrow_upper_middle': {'x': 184, 'y': 72}, 'right_eyebrow_upper_right_quarter': {'x': 204, 'y': 72}}, 'attributes': {'gender': {'value': 'Male'}, 'age': {'value': 26}, 'emotion': {'anger': 98.934, 'disgust': 1.06, 'fear': 0.002, 'happiness': 0.001, 'neutral': 0.001, 'sadness': 0.001, 'surprise': 0.002}}}
1    {'face_token': '3d03eb39f7479435db8ce3eb171f47b6', 'face_rectangle': {'top': 64, 'left': 31, 'width': 214, 'height': 214}, 'landmark': {'contour_chin': {'x': 117, 'y': 273}, 'contour_left1': {'x': 33, 'y': 101}, 'contour_left2': {'x': 33, 'y': 124}, 'contour_left3': {'x': 35, 'y': 147}, 'contour_left4': {'x': 37, 'y': 169}, 'contour_left5': {'x': 42, 'y': 192}, 'contour_left6': {'x': 49, 'y': 213}, 'contour_left7': {'x': 61, 'y': 233}, 'contour_left8': {'x': 76, 'y': 250}, 'contour_left9': {'x': 93, 'y': 265}, 'contour_right1': {'x': 247, 'y': 107}, 'contour_right2': {'x': 246, 'y': 133}, 'contour_right3': {'x': 242, 'y': 159}, 'contour_right4': {'x': 238, 'y': 184}, 'contour_right5': {'x': 230, 'y': 209}, 'contour_right6': {'x': 215, 'y': 230}, 'contour_right7': {'x': 195, 'y': 247}, 'contour_right8': {'x': 171, 'y': 260}, 'contour_right9': {'x': 146, 'y': 271}, 'left_eye_bottom': {'x': 77, 'y': 107}, 'left_eye_center': {'x': 79, 'y': 101}, 'left_eye_left_corner': {'x': 57, 'y': 101}, 'left_eye_lower_left_quarter': {'x': 66, 'y': 104}, 'left_eye_lower_right_quarter': {'x': 89, 'y': 107}, 'left_eye_pupil': {'x': 79, 'y': 99}, 'left_eye_right_corner': {'x': 100, 'y': 107}, 'left_eye_top': {'x': 79, 'y': 92}, 'left_eye_upper_left_quarter': {'x': 67, 'y': 94}, 'left_eye_upper_right_quarter': {'x': 91, 'y': 97}, 'left_eyebrow_left_corner': {'x': 42, 'y': 80}, 'left_eyebrow_lower_left_quarter': {'x': 55, 'y': 76}, 'left_eyebrow_lower_middle': {'x': 69, 'y': 77}, 'left_eyebrow_lower_right_quarter': {'x': 83, 'y': 84}, 'left_eyebrow_right_corner': {'x': 99, 'y': 89}, 'left_eyebrow_upper_left_quarter': {'x': 54, 'y': 65}, 'left_eyebrow_upper_middle': {'x': 71, 'y': 65}, 'left_eyebrow_upper_right_quarter': {'x': 87, 'y': 74}, 'mouth_left_corner': {'x': 78, 'y': 189}, 'mouth_lower_lip_bottom': {'x': 124, 'y': 230}, 'mouth_lower_lip_left_contour1': {'x': 98, 'y': 208}, 'mouth_lower_lip_left_contour2': {'x': 87, 'y': 208}, 'mouth_lower_lip_left_contour3': {'x': 101, 'y': 223}, 'mouth_lower_lip_right_contour1': {'x': 149, 'y': 210}, 'mouth_lower_lip_right_contour2': {'x': 159, 'y': 211}, 'mouth_lower_lip_right_contour3': {'x': 145, 'y': 224}, 'mouth_lower_lip_top': {'x': 124, 'y': 217}, 'mouth_right_corner': {'x': 168, 'y': 193}, 'mouth_upper_lip_bottom': {'x': 125, 'y': 198}, 'mouth_upper_lip_left_contour1': {'x': 117, 'y': 191}, 'mouth_upper_lip_left_contour2': {'x': 97, 'y': 189}, 'mouth_upper_lip_left_contour3': {'x': 102, 'y': 194}, 'mouth_upper_lip_right_contour1': {'x': 133, 'y': 191}, 'mouth_upper_lip_right_contour2': {'x': 151, 'y': 191}, 'mouth_upper_lip_right_contour3': {'x': 147, 'y': 195}, 'mouth_upper_lip_top': {'x': 125, 'y': 193}, 'nose_contour_left1': {'x': 109, 'y': 104}, 'nose_contour_left2': {'x': 100, 'y': 141}, 'nose_contour_left3': {'x': 105, 'y': 170}, 'nose_contour_lower_middle': {'x': 123, 'y': 178}, 'nose_contour_right1': {'x': 140, 'y': 105}, 'nose_contour_right2': {'x': 148, 'y': 144}, 'nose_contour_right3': {'x': 141, 'y': 172}, 'nose_left': {'x': 91, 'y': 158}, 'nose_right': {'x': 155, 'y': 162}, 'nose_tip': {'x': 124, 'y': 164}, 'right_eye_bottom': {'x': 173, 'y': 109}, 'right_eye_center': {'x': 172, 'y': 104}, 'right_eye_left_corner': {'x': 152, 'y': 106}, 'right_eye_lower_left_quarter': {'x': 162, 'y': 108}, 'right_eye_lower_right_quarter': {'x': 184, 'y': 108}, 'right_eye_pupil': {'x': 172, 'y': 102}, 'right_eye_right_corner': {'x': 193, 'y': 105}, 'right_eye_top': {'x': 172, 'y': 95}, 'right_eye_upper_left_quarter': {'x': 161, 'y': 98}, 'right_eye_upper_right_quarter': {'x': 183, 'y': 98}, 'right_eyebrow_left_corner': {'x': 150, 'y': 92}, 'right_eyebrow_lower_left_quarter': {'x': 169, 'y': 90}, 'right_eyebrow_lower_middle': {'x': 186, 'y': 86}, 'right_eyebrow_lower_right_quarter': {'x': 202, 'y': 84}, 'right_eyebrow_right_corner': {'x': 216, 'y': 87}, 'right_eyebrow_upper_left_quarter': {'x': 166, 'y': 79}, 'right_eyebrow_upper_middle': {'x': 184, 'y': 72}, 'right_eyebrow_upper_right_quarter': {'x': 204, 'y': 72}}, 'attributes': {'gender': {'value': 'Male'}, 'age': {'value': 26}, 'emotion': {'anger': 98.934, 'disgust': 1.06, 'fear': 0.002, 'happiness': 0.001, 'neutral': 0.001, 'sadness': 0.001, 'surprise': 0.002}}}
.
.
.
.

Comments

[ockeghem]

エラーが起きるJSONのサンプル（できるだけ短いもの）を追記してください。

[Kokku]

追記しました

[ockeghem]

ありがとうございます。行頭の0, 1, ... もデータに含まれますか?

[Kokku]

いいえ、含まれません。実際に使いたいデータはlandmark以降です。

[退会済みユーザー]

キーや値の文字列に'は含まれていないので、Unixなら tr \' \" < sample.json | jq . これで十分だと思います。

[ockeghem]

データ中に、シングルクォート、ダブルクォート、\ は含まれますか?

[Kokku]

シングルクォーテーションのみです

[ockeghem]

Kenji.Noguchi さんが指摘されているように tr コマンドで十分かと思いますが、動作環境はWindowsだったりましすか?

[Kokku]

windowsです

Answer 1

シングルクォーテーションをダブルクォーテーションに置換するコード

本当はヒントを出して自分で作ってもらうのが筋なのですが、ヒントを考えるのが難しいので、コード例を示します。

def findfiles(pattern, folder='./'):
    from glob import glob
    return glob(folder + '/' + pattern)

def check_and_mkdir(folder):
    from os.path import isdir
    from os import makedirs
    if not isdir(folder) :
        makedirs(folder)

def readtextfile(filename):
    with open(filename, 'r') as f:
        return f.read()

def writetextfile(text, filename):
    with open(filename, 'w') as f:
        f.write(text)

def sq_to_dq(text):
    return text.replace("'", '"')

if __name__ == '__main__':
    from os.path import basename
    import argparse
    parser = argparse.ArgumentParser(description='convert single-quote to double-quote')
    parser.add_argument('-s', '--sourcedir', nargs=1, default='./')
    parser.add_argument('-t', '--targetdir', nargs=1, default='./target')
    parser.add_argument('-p', '--pattern', nargs=1, default='*.json')
    args =  parser.parse_args()

    check_and_mkdir(args.targetdir)
    for filename in findfiles(args.pattern, folder=args.sourcedir):
        sq_text = readtextfile(filename)
        dq_text = sq_to_dq(sq_text)
        tfilename = args.targetdir + '/' + basename(filename)
        writetextfile(dq_text, tfilename)

上記のコードをsq2dq.pyという名前で保存して、以下を実行してください。
あとはそれを見て考えてください。

>python sq2dq.py --help

Answer 2

変換することが自体が目的ではなくて、Pythonプログラミングの勉強の題材として取り上げたということであれば、自分でまず書いてみましょう。

変換することが自体が目的なら、エディターでやればあっという間です。標準のメモ帳でもできる。

Comments

[Kokku]

エディタで編集可能な事を知りませんでした。教えていただきありがとうございます。

Answer 3

そのデータファイルは次の 2 点で通常の JSON ファイルとは異なります。

• 文字列がダブルクオートではなく、シングルクオートで括られている
• 1 行に 1 つの JSON オブジェクトが存在する、いわゆる JSON Lines 形式である

ので、シングルクオートをダブルクオートに置換した上で、pandas の read_json で lines=True を指定して読み込めば良いのでは。
参考: pandasでJSON文字列・ファイルを読み込み（read_json） | note.nkmk.me

import pandas as pd

filename = 'data.jsonl'
with open(filename) as f:
    s = f.read()

df = pd.read_json(s.replace("'", '"'), lines=True)
print(df)