pandasのDataframeに入った辞書型データにアクセスしたい

Question

Slackのログを解析しています。ログファイルはjson形式で、pandasのDataframeとして読み込むとreactionsが次のような形になりました。

dfMa21 = pd.io.json.json_normalize(LecMa21)
dfMa21reacs = dfMa21[['ts','reactions']]

リアクションの名前、リアクションした人のリスト、リアクション数が一つの辞書項目となって、これがあるメッセージに対するリアクションの種類の数だけリストとして入っています。
このリストを分解するために次のようなコードを書きました。

tmp = dfMa21reacs.reactions.apply(pd.Series).stack().reset_index(level=1, drop=True).rename('reactions')
dfMa21reacs = dfMa21.loc[:,['ts']].join(tmp).reset_index(drop=True)

tsはタイムスタンプなのでtsが同じ項目は同じメッセージを表します。リストが分解され、同じメッセージに付いていたリアクションが一つずつ見えるようになりました。

問題はここからです。ここで例えば'name':'yakunitatta'となっているデータを取り出す操作を行いたいのですが、どうしたらいいかわかりません。辞書型データにkeyによってアクセスする方法を調べて以下のようにしたのですが、KeyError: 'name'になってしまいます。

dfMa21useful = dfMa21reacs[dfMa21reacs.reactions['name'] == 'yakunitatta']

pandasのデータ項目として辞書型データが入っているというケースが見つけられず、質問に至りました。正しい方法、あるいはもっと効率のいい方法があれば教えていただけると幸いです。

Answer 1

以下のようにnameも列に分離すると処理しやすいかと思います。

import pandas as pd

df = pd.DataFrame({'ts':[1,1],'reactions':[{'name':'a','users':['u1','u2']}, {'name':'b','users':['u3','u4']}]})

def func(row):
    row['name'] = row.reactions['name']
    row['users'] = row.reactions['users']
    return row

df = df.apply(func, axis=1).drop('reactions',axis=1)
print(df)
"""
   ts name     users
0   1    a  [u1, u2]
1   1    b  [u3, u4]
"""

print(df[df['name'] == 'a'])
"""
   ts name     users
0   1    a  [u1, u2]
"""

Comments

[crossism]

回答ありがとうございます。
can110様のコードをそのままで実験し動くのを確認したあと、dfにわたしが使っているdataframeを代入して同じコードをprint(df)まで動かしてみたところ、
TypeError: ("'float' object is not subscriptable", 'occurred at index 6')
となってしまいました。みたところ例として挙げていただいたdfとほとんど構造は変わらないはずなのですが、なぜfloat扱いになってしまっているのでしょうか。もしこちらもお分かりになることがあればアドバイスをいただけるとありがたいです。

[8524ba23]

ちょっと思い当たる原因がないですね…
現象が再現する完全なソースコードと最小限のJSONファイルを質問に追記されると、こちらでも検証できるかもしれません。

[crossism]

コメントが送れていなかったようで遅くに失礼します。
少し難しそうなので、もう少し検証したのち、解決しなければ改めて別の質問として投稿しようと思います。お付き合いありがとうございました。

[crossism]

無事解決いたしました。質問中のスクリーンショットの範囲では見えないのですが実データに空の部分があり、その部分の例外処理が必要なだけでした。
わかりやすい回答ありがとうございました。

Answer 2

can110様の回答で最終的に解決しました。

うまくいかなかった原因は例外処理でした。例として表示した部分は項目が必ず埋まっていましたが、実際のデータには空の部分があり、そこを弾く必要がありました。

質問する際に気をつけるべきこととしても勉強になることの多い質問となりました。
can110様に改めてお礼を申し上げます。ありがとうございました。