質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.90%

jsonファイルを読み込んで、重複削除を行う:Pandas

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 2,569

pepasuke623

score 45

前提・実現したいこと

お世話になります。
jsonファイルを読み込んでデータフレームに代入して、重複削除をしたいと思っています。

ディレクトリの中には、次のようなjsonファイルが沢山あります。

// 0001.json
{"machine":"A3","times":1494824607024}


"machine"は稼働した機械の名称。"times"にはその時の時間がUNIX時間で入っています。
システムの都合上(謎の仕様上)、ファイル名が違うのに、同じ機械名称と同じ時間が混じってしまいます。なのでファイルを連結した際に重複データを削除したいと思っています。

試したこと・該当のソースコード・エラーメッセージ

以下のように書いてみました。

import pandas as pd
import glob

files = glob.glob('2A/*.json')
df_dic = pd.concat(
(pd.read_json(f)
for f in files)).sort_values(by=["time"], ascending=True)

# 無理やりデータフレームに変換してみた
df= pd.DataFrame.from_dict(df_dic)

print(df.drop_duplicates())

これを動かすと次のようなメッセージが出てきます。

File "pandas\src\hashtable_class_helper.pxi", line 843, in

 pandas.hashtable.PyObjectHashTable.get_labels (pandas\hashtable.c:15447)

TypeError: unhashable type: 'dict'

jsonファイルを読み込んで重複削除を行うにはどうしたら良いのでしょうか?ネットを調べてもそれらしい情報を見つけられなかったので質問させていただきました。
お手数ですがご教示願います。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

0

Pandas.read_json() が上手く動作しないというのであれば、
素直に 標準ライブラリのjsonを使用してみてはいかがでしょうか。

import pandas as pd
import json
import glob

files = glob.glob('2A/*.json')
df = pd.DataFrame()
for i,file in enumerate(files):
    with open(file) as f:
        data = json.load(f)
        for key in data.keys():
            df.loc[i,key] = data[key]
df = df.drop_duplicates().reset_index(drop=True)

【追記】

'machine'データがリストだった場合の暫定対策

        for key in data.keys():
            # 'machine'データが文字列以外のときは無視する処理
            if key=='machine' and type(data[key])!=str:
                continue
            df.loc[i,key] = data[key]

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/05/26 13:12

    ありがとうございます!!!

    print(file)はすでに試していて,ファイルは問題なく読み込まれています.
    print(data)を実行して思いましたが,"machine"の中身がempty([]が代入されている)の物があります.これが原因かはわかりませんが,今わかるのはここまでです.

    キャンセル

  • 2017/05/26 13:52

    たぶんそれが原因でしょうね。
    おそらく

    {"machine":[],"time":1494824607024}

    のようなJSONデータがあるのだと思われます。
    一応暫定対策のコードを追加しました。

    今回の質問の範囲を超えてしまいますが、
    1. 「どのようなメカニズムで、そのようなデータが作成されたのか?」の解析
    2. 「他にどのような形式のデータが来る可能性があるのか」を洗い出し
    3. 「このような例外データをどのように扱うのか」を決める
    を行った後に、正式な対策をとるべきかと思います。

    キャンセル

  • 2017/05/26 14:27

    何度もありがとうございます!!

    おっしゃる通り,セル内で”[]”がリストとして扱われていたためエラーが置きました.そして教えていただいたコードを実行したら動作しました!

    また,頂いたアドバイスに対しては
    2. 「他にどのような形式のデータが来る可能性があるのか」に関して,まれに"machine":[A5,A7]のように複数の値が入ったリストが存在することが分かりました.この「入れ子リスト」の扱いについては別途トピックを立てさせていただきます.

    さしあたり,このトピックに対する質問にお答え頂き解決したので,クローズさせていただいます.
    質問に対するご返答だけではなく,解説やアドバイスを頂き,非常に参考になりました.大変感謝申し上げます.m(_ _)m

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.90%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る