pythonのdataframe中にあるdicts in listの要素を集計してグラフ化したい

Question

データ説明

100行・3列（ラベルにyearとcategories）からなるデータフレームdf_testというものがあるとします。

以下、イメージの表です（見づらくて申し訳ございません）。

ID	year	categories
0	2010	[{'id': 'closed', 'name': 'Closed', 'description': 'No freely available copy has been identified'}]
1	2011	[[{'id': 'oa_all', 'name': 'All OA', 'description': 'Article is freely available'}, {'id': 'gold_bronze', 'name': 'Bronze', 'description': 'Freely available on publisher page, but without an open licence'}]
...	...	...
100	2011	[{'id': 'oa_all', 'name': 'All OA', 'description': 'Article is freely available'}, {'id': 'gold_pure', 'name': 'Pure Gold', 'description': 'Version Of Record (VOR) is free under an open licence from a full OA journal'}]

このcategories列の要素を見てみると、dicts in listとなっています。

得たい結果

今回のcategories列の要素には、２つの形式のデータがあります。

それぞれどのような形式であり、どんなデータを取得したいかについて、下記に示します：
0. [{..., 'name':'XXX', ...}]のようにlistの中に一つだけdictがある形式（ex. IDが0の行）→key'name'に関するvalueを取得したい

1. [{..., 'name':'XXX', ...}, {..., 'name':'XXX', ...}]のようにlistの中に２つdictがある形式（ex. IDが1および

100の行）→２つ目のdictのkey'name'に関するvalueを取得したい

そして、上記で取得したvalueとyearのデータを紐付けて、各yearでそれぞれvalueが何件づつあるかをグラフ化したいです。

現状以下のようにコーディングしてみました（環境: google colaboratory)

# categoriesをカウントして列名をリネームする
categories = df_test['categories'].value_counts()
categories = categories.to_frame().reset_index().rename(columns= {"index": 'categories', 'categories': 'count'})
categories.index.name = 'index'


# 表示させたい個数のしきい値
THRESHOLD = 5 #今回は適当に5件とした

# 欠損値の処理
df_test.fillna("-no value-", inplace=True)

# しきい値の適応
df_test　= df_test[df_test['categories'].isin(list(categories[:THRESHOLD]['categories']))].sort_values('categories')

# ヒストグラムを示す
px.histogram(df_test,
             x="year",
             color="categories",
             title=f"Top {THRESHOLD} categories - by year")

これで結果は一応でるのですが、今の状況ではcategoriesの要素（dicts in list）がすべてそのまま出力されてしまいます。
dictのkey'name'に関するvalueに絞った描画がしたいです。
ご指導のほど、どうぞよろしくお願いいたします。

Answer 1

categoriesの中身が、dictのlistではなく、文字列のままのようなので、文字列→list/dictの変換を入れる必要があります。
eval()してしまうのが簡単ですが、ast.literal_eval()を使うほうが安全です。

import ast

df['category_name'] = df['categories'].apply(lambda s: ast.literal_eval(s)[-1]['name'])

以前の回答

各categoriesの、listの一番最後のdictから、nameに対応する値を取り出せばいいということなので、これで必要なものが得られると思います。

df['categories_name'] = df['categories'].apply(lambda l: l[-1]['name'])

あとの集計は今と同様でいけるのでは。

Comments

[yasu_00]

ご連絡をありがとうございます！実行してみたところ、以下のようなエラーになりました。
TypeError: string indices must be integers

どのように解決したらよいか、アドバイス頂けたら幸いです。

[bsdfan]

dictのlistではない、listのlistとかが混じっていませんか？

[bsdfan]

以下で categories のtypeと最後の要素のtypeを確認してみてください。
print(set(type(x) for x in df['categories']))
print(set(type(x[-1]) for x in df['categories']))

[yasu_00]

追加のアドバイスをありがとうございます！双方とも出力は{<class 'str'>}となりました。list in dictsかと思いこんでおりました。この場合、どのようにして'name'の要素を取得できるのでしょうか？

[yasu_00]

おかげさまで、無事に出力できました！！大変勉強になりました！

Answer 2

test列にcategories列の'name'の値を取り出してリストとして入れるコードです。

df['test'] = df['categories'].apply(lambda x: [i['name'] for i in x])
ptinr(df)
#   Year                                         categories              test
#0  2010  [{'id': 'closed', 'name': 'Closed', 'descripti...          [Closed]
#1  2011  [{'id': 'oa_all', 'name': 'All OA', 'descripti...  [All OA, Bronze]

Comments

[yasu_00]

ご連絡をありがとうございます！実行してみたところ、以下のようなエラーになりました。
TypeError: string indices must be integers

どのように解決したらよいか、アドバイス頂けたら幸いです。