データの中にリストがある場合の取扱について：Pandas

Question

###前提・実現したいこと
度々失礼します。

今回はやりたいこととしては，

• 複数のファイルからデータを読み込んで，重複を削除して出力をする

ということをしたいです。

対象としているファイルは次のような、時間と機械の番号が書かれたJSONファイルです。

{"machine":[{"No":"G1"}],"time":1494824607024}

機械がある時間（"time"[ユニックス時間]）に稼働した機械（"machine"）が記載されています。
ただ、このファイルは厄介なことに，"machine"の中身がリストになって，更に辞書のようなものが入っています。

上の物は一例で，他にも、

{"machine":[],"time":1494824607024}

のように"machine"の中身が空のものや，

{"machine":[{"No":"G1"},{"No":"F2"}],"time":1494824607024}

のように複数のデータが入っているものがあります。
この，"machine"の中身を全部読み取って，重複を削除して，例えば上の３角ファイルであれば

machine
G1
F2

のような出力がしたいです。

###試したこと
一応自分で書いてみましたが，今回は見せられないほど酷いです，，
どういう処理をしたかというと
0. リストが格納されているKeyのところのデータをstr()で一度文字列化する
0. 文字列をstr.splitなどで無理やり区切る
0. 区切ったときに出てくるいらない文字をマスクで消す
みたいなことをしました．何か１発でうまいこと格納できるメソッドなどはありませんでしょうか？

Answer 1

とりあえず、こんな感じでどうでしょうか？
基本的にPandas上で処理しております。

コメント（実行結果）を入れた為長くなってしまいましたが、実際は数行で記述できます。

import pandas as pd
import numpy as np

machine = '''
[
{"machine":[{"No":"G1"}],"time":1494824607024},
{"machine":[],"time":1494824607025},
{"machine":[{"No":"G1"},{"No":"F2"}],"time":1494824607026},
{"machine":[{"No":"F2"}],"time":1494824607026},
{"machine":{"No":"E3"},"time":1494824607027}
]
'''

# 元データ
df = pd.read_json(machine)
print(df)
# =>                         machine           time
#    0                [{'No': 'G1'}]  1494824607024
#    1                            []  1494824607025 #<= 空
#    2  [{'No': 'G1'}, {'No': 'F2'}]  1494824607026
#    3                [{'No': 'F2'}]  1494824607026 #<=重複
#    4                  {'No': 'E3'}  1494824607027 #<=リスト形式でない

# index:4 のように リスト形式ではない時はリスト形式に変換
df['machine'] = df['machine'].apply(lambda d:d if isinstance(d,list) else [d])
print(df)
# =>                         machine           time
#    0                [{'No': 'G1'}]  1494824607024
#    1                            []  1494824607025 #<= 空
#    2  [{'No': 'G1'}, {'No': 'F2'}]  1494824607026
#    3                [{'No': 'F2'}]  1494824607026 #<=重複
#    4                [{'No': 'E3'}]  1494824607027 #<=リスト化

# セル内のリストを行に展開する
df = pd.DataFrame({'time':np.repeat(df['time'].values, df['machine'].str.len())}).assign(machine=np.concatenate(df['machine'].values))
print(df)
# =>             time       machine
#    0  1494824607024  {'No': 'G1'}
#    1  1494824607026  {'No': 'G1'}
#    2  1494824607026  {'No': 'F2'} #<=重複
#    2  1494824607026  {'No': 'F2'} #<=重複
#    3  1494824607027  {'No': 'E3'}

# セル内のdict形式を展開
df['machine'] = df['machine'].apply(lambda d:d['No'])
print(df)
# =>             time machine
#    0  1494824607024      G1
#    1  1494824607026      G1
#    2  1494824607026      F2 #<=重複
#    2  1494824607026      F2 #<=重複
#    3  1494824607027      E3

# 重複削除
df = df.drop_duplicates(['machine', 'time'])
print(df)
# =>             time machine
#    0  1494824607024      G1
#    1  1494824607026      G1
#    2  1494824607026      F2
#    4  1494824607027      E3

Comments

[pepasuke623]

ありがとうございます！
データフレームに代入する→リストかどうかを判定する→リストをバラバラにして縦に並べる→重複削除
ということですね。
実行してみてできました。
回答頂き感謝いたします。

Answer 2

jsonファイルのパースはPython標準ライブラリにあるのでそれを使うのが良いかと思います、そして、jsonデータにおけるmachineが必ず配列で、その中の辞書のキーがNoなら以下のように書けるかと思います。

import json

data = json.loads('{"machine":[{"No":"G1"},{"No":"F2"},{"No":"F2"}],"time":1494824607024}')
result = list(set(i['No'] for i in data['machine']))

print(result)  # [u'F2', u'G1']

なお、json.load関数を使うとファイル(実際にはファイルオブジェクト)から読込できます。

Comments

[pepasuke623]

回答頂きありがとうございます！

リストから値を抜き出して重複を消すということですね。
説明が抜けていましたが、今回は、時間と'machine'対応づいている必要があります。
ただ、シンプルな方法なので他の問題を解くときに使えますね！
どうもありがとうございます！