Python でJSONで取り込んだデータを加工したい

Question

前提・実現したいこと

Python でJSONで取り込んだデータを加工して表示したいと思っています。

JSONフォーマットは、
{"A":"aa1","B":bb1,"C":cc1"}
{"A":"aa1","B":bb2,"C":cc2"}
{"A":"aa2","B":bb1,"C":cc3"}
{"A":"aa1","B":bb2,"C":cc4"}
{"A":"aa3","B":bb1,"C":cc5"}
です。
要素Aと要素Bはそれぞれ値が重複する場合があります。

ここから、例えば、①A=aa1の要素のみを抽出し、
{"A":"aa1","B":bb1,"C":cc1"}
{"A":"aa1","B":bb2,"C":cc2"}
{"A":"aa1","B":bb2,"C":cc4"}
を対象として、
②文字列のB要素、bb1,　bb2の数をカウントしたい。
③数値のC要素の最大、最小値を求めたい。
です。

さらに、④同様にA=aa2, aa3要素も同様のことを繰り返したいです。
(A要素のすべての種類に対して)

発生している問題・エラーメッセージ

これを読み込んで、A、B、Cをそれぞれlist化するところまではできました。
A_lists = [aa1, aa1, aa2, aa1, aa3]

これを連結させて、なんとか処理しようと
Webを漁りまくってサンプルコードや使い方を探しました。
np.whereや、np.arrayを使って実現しようと思いましたが、
どうもうまくいきません。。

Python がお得意な方、解決に至るような是非サンプルコードをいただけると助かります。
もう１日以上、これにはまってしまい、私の知識では限界です。。

よろしくお願いいたします。

エラーメッセージ

該当のソースコード

All_lists = A_lists, B_lists, C_lists

np_All_lists=np.array(All_lists)
new_All_lists=np.where(np_All_lists[0, :] == Aのある値)

みたいなことをして、なんとか①をまずは対応しようとしていました。

試したこと

上記の通りです。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

pandas を使って下記のようにDataFrame(テーブル形式のデータ)に変換した上で処理するのが簡単かと

import pandas as pd

data = """
{"A":"aa1","B":"bb1","C":"cc1"}
{"A":"aa1","B":"bb2","C":"cc2"}
{"A":"aa2","B":"bb1","C":"cc3"}
{"A":"aa1","B":"bb2","C":"cc4"}
{"A":"aa3","B":"bb1","C":"cc5"}
"""
df = pd.read_json(data, lines=True)
print(df)
#     A    B    C
#0  aa1  bb1  cc1
#1  aa1  bb2  cc2
#2  aa2  bb1  cc3
#3  aa1  bb2  cc4
#4  aa3  bb1  cc5

あとはDataFrame上で

①A=aa1の要素のみを抽出し

target_df = df.loc[df['A']=='aa1']
print(target_df)
#     A    B    C
#0  aa1  bb1  cc1
#1  aa1  bb2  cc2
#3  aa1  bb2  cc4

②文字列のB要素、bb1,　bb2の数をカウントしたい。

ret = target_df['B'].value_counts()
print(ret)
#bb2    2
#bb1    1
#Name: B, dtype: int64

③数値のC要素の最大、最小値を求めたい。

# ccのあとの数値部を抜き出し
num = target_df['C'].str.extract('cc(\d+)')[0].astype(int)
# 数値の最小値と最大値を表示
print(num.min(), num.max())
# 1 4

のように比較的簡単に処理できます。

④同様にA=aa2, aa3要素も同様のことを繰り返したいです。

の処理に関しては df.groupby('A') にて Aの値毎に上記の処理を施すとよいかと思います。

これらの結果をどのように使用するのかが不明なのですが、とりあえず Aの値ごとの Bの各要素の数、Cの数値部の最小・最大を求めるコードを書いてみましたので参考にしてください。

import pandas as pd

data = """
{"A":"aa1","B":"bb1","C":"cc1"}
{"A":"aa1","B":"bb2","C":"cc2"}
{"A":"aa2","B":"bb1","C":"cc3"}
{"A":"aa1","B":"bb2","C":"cc4"}
{"A":"aa3","B":"bb1","C":"cc5"}
"""
df = pd.read_json(data, lines=True)
df['NUM_C'] = df['C'].str.extract('cc(\d+)')[0].astype(int)
r1 = df.groupby('A')['B'].apply(lambda d: d.value_counts()).unstack()
r2 = df.groupby('A')['NUM_C'].apply(lambda d: pd.Series([d.min(), d.max()], index=['c_min', 'c_min'])).unstack()
ret = pd.concat([r1,r2], axis=1)
print(ret)
#     bb1  bb2  c_min  c_min
#A
#aa1  1.0  2.0      1      4
#aa2  1.0  NaN      3      3
#aa3  1.0  NaN      5      5

Comments

[STSW]

ありがとうございます。非常な丁寧な回答に感謝いたします。
どれも今後の参考になりそうで、助かります。
こちらをBAとも考えたのですが、早くご回答をいただけて解決のきっかけになったものをBAとさせていただきました。申し訳ございません。
ちなみに、dataを取り込むときは、直接値入力ではなく、
***.jsonファイルを読み込むときはどうすればいいのでしょうか？

Answer 2

各キーのValueがリスト化できるのなら、データをオブジェクトとしてそのままリストに入れればいいような気がしますが…
以下のような形式でJsonデータを書き直すことはできますか？

{ "data": [{"A":"aa1","B":"bb1","C":"aa1"},{"A":"aa1","B":"bb1","C":"aa1"},{"A":"aa1","B":"bb1","C":"aa1"} ...]}

この形式であれば以下のようにすれば質問者様のやりたいことは実現できるように思います。

import json
str = '{ "data": [{"A":"aa1","B":"bb1","C":1},{"A":"aa1","B":"bb2","C":2},{"A":"aa1","B":"bb2","C":3}]}'
b_counts_dict = {}
c_list = []
data = json.loads(str)

def get_list_byA(a):
    for d in data["data"]:
        # dに各要素がdict形式で入る
        if (d["A"] == a):
            if (d["B"] in b_counts_dict):
                b_counts_dict[d["B"]] += 1
            else:
                b_counts_dict[d["B"]] = 1
            c_list.append(d["C"])

# Aがaa1のものをカウント
get_list_byA("aa1")

# Cの最大値、最小値
print("max_c: ", max(c_list))
print("min_c: ", min(c_list))

# 各要素の数
print(b_counts_dict)

# 実行結果
max_c:  3
min_c:  1
{'bb1': 1, 'bb2': 2}

ただしこの例だと、例えばforループ内でget_list_byAを呼び出すとAの値によってB要素の数のカウントを分ける、ということができません。
もしAの値によってBの要素の数のリストを分けたいのであれば、Key名がAの値でValueにc_listやb_counts_dictを持つdictを作ってそこに格納するなりしてください。

データの数が多いならpandasとか使うのがいいかもしれません。
あとデータのKeyが不変なのであれば、データを独自クラスにシリアライズして処理するのもありだと思います。
https://qiita.com/Thiru0000/items/35554f523565e4b12b51

Comments

[STSW]

ありがとうございます。
JSON形式を現時点では変えることができないのですが、他の部分が参考になりました。

Answer 3

素直に回答すると、"aa1"である要素を取り出すためには以下のようにすればできます。

index_list = []
idx = -1
for i in range(A_lists.count('aa1')):
    idx = A_lists.index('aa1', idx + 1)
    index_list.append(idx)
    

このループの中でindex_listにappend(リストに要素を追加)しているところで
A_lists、B_lists、C_listsとかからそれぞれ新しいリストに抽出していけば①はできます。

あと、一度リストにしてまた戻す形になるので、
pandasというライブラリの中にあるDataFrameを使うともっとすっきりとまとまるかと思います。
が、多少扱いが難しいので、一旦リストでやってみて余裕ができれば試してみるとよいと思います。

Comments

[STSW]

ありがとうございます。
countをきっかけに、enumerateを知り、これを使って同じようなことができました。
他の方のご意見も参考になったのですが、最初に解決のきっかけを与えてくれたこちらをBAとさせていただきます。