jsonファイルをcsvファイルに変換したい

Question

対象josnファイル

{
  "results": [
    {
      "series": [
        {
          "name": "tempra",
          "columns": [
            "time",
            "channel",
            "counter",
            "debug",
            "dev_id",
            "gtw_id",
            "gw_lat",
            "gw_lng",
            "humidity",
            "lat",
            "lng",
            "loc_name",
            "port",
            "pressure",
            "rssi",
            "site_id",
            "snr",
            "temp",
            "volt"
          ],
          "values": [
            [
              "2020-05-28T13:41:43.290263351Z",
              5,
              0,
              null,
              "m130",
              "eui-000000000",
              34.0000,
              138.00000,
              null,
              34.000,
              138.000,
              "koko",
              null,
              null,
              -56,
              "3",
              6.8,
              18.3,
              2.78
            ],
            [
              "2020-05-28T13:41:21.17467173Z",
              7,
              0,
              null,
              "cha020",
              "eui-000000000",
              34.0000,
              138.0000,
              96.5,
              34.00000,
              138.0000,
              "momo",
              null,
              1003.1,
              -115,
              "11",
              -13,
              17.6,
              3.47
            ],

上記のようなjosnファイルがあるのですが、csvに変換したいです。
ほしい情報はtimeとloc_nameとtempです。

#試したこと

pip install csvkit

// テストでtimeのみ取得を試みた。
in2csv tempra-makilabo.json -k time -f json >> test.csv

// エラー結果
/Users/tom/.pyenv/versions/anaconda3-5.3.1/lib/python3.7/importlib/_bootstrap.py:219: ImportWarning: can't resolve package from __spec__ or __package__, falling back on __name__ and __path__
KeyError: 'time'

brew install jq

MBP:Desktop user$ cat tempra-makilabo.json | jq -r -c '.users[] | [.time,.loc_name,.temp] | @csv'
jq: error (at <stdin>:7527967): Cannot iterate over null (null)

それぞれのエラーコードを元に検索してみましたがわかりませんでした。
ご教授いただけると嬉しいです。

Comments

[yambejp]

言語は通常のshなど供給されるコマンドベースですか？
なにか高級言語やそのライブラリをつかってもいいのでしょうか？

[momokoko]

大丈夫です！

[sakura_hana]

teratailタグは関係無いので外してください。

[momokoko]

失礼しました。

Answer 1

#!/usr/bin/env python3
import pandas as pd

#変換したいJSONファイルを読み込む
df = pd.read_json("/Users/tom/Desktop/jsonmimi/tempra-makilabo.json")

#CSVに変換して任意のファイル名で保存
df.to_csv("hogehoge.csv")

Answer 2

pythonだとこんな感じですかね

import json
import csv

injson = ' 省略 '
data=json.loads(injson)['results'][0]['series'][0]
cols=data['columns']
vals=data['values']
with open("output.csv", "w") as f:
    wr = csv.writer(f, lineterminator='\n')
    wr.writerow(cols)
    wr.writerows(vals)

Comments

[momokoko]

ご回答ありがとうございます！
エラーが出力されてしまいました。

user$ cat comjson.py
#!/usr/bin/env python3
import json
import csv
injson='tempra-makilabo.json'
data=json.loads(injson)['results'][0]['series'][0]
cols=data['columns']
vals=data['values']
with open("output.csv", "w") as f:
wr = csv.writer(f, lineterminator='\n')
wr.writerow(cols)
wr.writerows(vals)

./comjson.py
Traceback (most recent call last):
File "./comjson.py", line 5, in <module>
data=json.loads(injson)['results'][0]['series'][0]
File "/Users/tom/.pyenv/versions/anaconda3-5.3.1/lib/python3.7/json/__init__.py", line 348, in loads
return _default_decoder.decode(s)
File "/Users/tom/.pyenv/versions/anaconda3-5.3.1/lib/python3.7/json/decoder.py", line 337, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "/Users/tom/.pyenv/versions/anaconda3-5.3.1/lib/python3.7/json/decoder.py", line 355, in raw_decode
raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

[momokoko]

空白行削除してみました。
grep -v -e '^\s*#' -e '^\s*$' tempra-makilabo.json
しかし、実行結果は変わらず同じエラーが出力されました。

[x98000]

injsonはJSON文字列の想定です。JSONファイルから取り込んで格納するか、json.loadで取り込んでください。

[momokoko]

cat comjson.py
#!/usr/bin/env python3
import json
import csv
with open('/Users/tom/Desktop/jsonmimi/tempra-makilabo.json') as f:
df = json.load(f)
injson=df
data=json.loads(injson)['results'][0]['series'][0]
cols=data['columns']
vals=data['values']
with open("output.csv", "w") as f:
wr = csv.writer(f, lineterminator='\n')
wr.writerow(cols)
wr.writerows(vals)

./comjson.py
Traceback (most recent call last):
File "./comjson.py", line 7, in <module>
data=json.loads(injson)['results'][0]['series'][0]
File "/Users/tom/.pyenv/versions/anaconda3-5.3.1/lib/python3.7/json/__init__.py", line 341, in loads
raise TypeError(f'the JSON object must be str, bytes or bytearray, '
TypeError: the JSON object must be str, bytes or bytearray, not dict

[momokoko]

JSONファイルから取り込んで格納というのが、わからず、json.loadでやったもののエラーを出してしまいました。

[x98000]

json.loadはJSONファイルを読み込んで辞書を返します。更にその辞書をjson.loadsで読み込もうとしているのでエラーになっています。
json.loadを使うなら、data=json.loads(injson)['results'][0]['series'][0] の行をjson.loadに書き換えて直接ファイルを読み込めばいいです。

[momokoko]

教えて頂いたことが調べてもよくわかない状態だったので、自分でpythonでjsonをcsvに吐き出す方法を調べ直し、なんとかcsvにできました。
ありがとうございました。