pandasを使用してExcelファイルに出力

Question

pandasを使用してExcelファイルにデータを書き込みを考えています。

Excelファイルの書き込む際、シート別に書き込む想定です。

汚いコードですが現状こうなっております。

COLUMNS = ['a', 'b', 'c', 'd']
df = pd.DataFrame(columns=COLUMNS)

for v1 in data:
   for v2 in v1['values']:
       tmp_se = pd.Series([v2['fields']['key'],
                           v2['name'],
                           v2['fields']['fields1'],
                           v2['fields']['fields2'],
                           index=df.columns)
         df = df.append(tmp_se, ignore_index=True)
   with pd.ExcelWriter('test.xlsx') as writer:
      df.to_excel(writer, index=False, sheet_name='sheet'+str(v1['name']), encoding='utf-8')

これだと、一番最後のforで回したデータのみExcelに書き込まれます。
forで強引に回していて、1回分回したものを1シートを書き込みたいです。

書き込むデータ(変数data)はさほど多くはないことを想定していますが、
多くなった場合のことを考えると、for入れ子にして記載すると遅くなってしまうので、できれば違う書き方にしたいと考えています。

質問内容不足していましたら申し訳ないのですが、ご教授のほどよろしくお願い致します。

Comments

[waku_nagoya]

dataはどのような構造になっていますか？
ちょっとこのコードだけだと何をしたいのか、いまいち分かりにくいです。

[xxyyxx]

データはjson形式になって変数dataに入っています！

[waku_nagoya]

サンプルデータを載せれますか？

[xxyyxx]

```
{
'expand': 'schemanames',
'startAt': 0,
'maxResults': 100,
'total': 150,
'issues': [{
'expand': 'operations,versionedRepresentations,editmeta,changelog,renderedFields',
'id': '111111',
'self': 'https://sample.jp//api/2/project/111111',
'key': '911',
'fields': {
'parent': {
'id': '54321',
'key': '11',
'self': 'https://sample.jp//api/2/project/11112'
}
}
}],
'issues': [{
'expand': 'operations,versionedRepresentations,editmeta,changelog,renderedFields',
'id': '222222',
'self': 'https://sample.jp//api/2/project/222222',
'key': '912',
'fields': {
'parent': {
'id': '54320',
'key': '11',
'self': 'https://sample.jp//api/2/project/11142'
}
}
}]
}
```
こんなかんじです！
実際はissuesのネストがもう少しあるかんじです。

Answer 1

その json データでは、 issues キーが重複するため、どんどん上書きされていって最後の issues のみ残ってしまいます。
そこを改良してください。

ここから追記です。

filename : tera.json

{
    "expand": "schemanames",
    "startAt": 0,
    "maxResults": 100,
    "total": 150,
    "issues": [
	{
	    "expand": "operations,versionedRepresentations,editmeta,changelog,renderedFields",
	    "id": "111111",
	    "self": "https://sample.jp//api/2/project/111111&#039",
            "key": "911",
            "fields": {
		"parent": {
                    "id": "54321",
                    "key": "11",
                    "self": "https://sample.jp//api/2/project/11112&#039"
		}
            }
	},
	{
	    "expand": "operations,versionedRepresentations,editmeta,changelog,renderedFields",
	    "id": "111112",
	    "self": "https://sample.jp//api/2/project/111111&#039",
            "key": "912",
            "fields": {
		"parent": {
                    "id": "54322",
                    "key": "12",
                    "self": "https://sample.jp//api/2/project/11112&#039"
		}
            }
	}
    ],
    "issues2": [
	{
            "expand": "operations,versionedRepresentations,editmeta,changelog,renderedFields",
            "id": "222222",
            "self": "https://sample.jp//api/2/project/222222&#039",
            "key": "912",
            "fields": {
		"parent": {
                    "id": "64320",
                    "key": "21",
                    "self": "https://sample.jp//api/2/project/11142&#039"
		}
            }
	},
	{
            "expand": "operations,versionedRepresentations,editmeta,changelog,renderedFields",
            "id": "3333",
            "self": "https://sample.jp//api/2/project/222222&#039",
            "key": "913",
            "fields": {
		"parent": {
                    "id": "54321",
                    "key": "22",
                    "self": "https://sample.jp//api/2/project/11142&#039"
		}
            }
	}
	
    ]
}

こんな構造のjsonだったとしたら

import pandas as pd
from pandas.io.json import json_normalize
import openpyxl

f= open("tera.json", "r")
data = json.load(f)

with  pd.ExcelWriter("test.xlsx") as writer:
    for v in data:
        if "issues" in v:
            r = json_normalize(data[v])
            r.to_excel(writer, sheet_name=v)

これで大体やりたいことはできるかと思います。

jsonを修正したところとしては、issues のキー名を重複しないように変更したことです。
もっと構造を変えてもよければ、issues自体をリスト化することです。
そうするともう少しスマートになるかと。

Comments

[xxyyxx]

ご回答ありがとうございます！
外部API叩いて返ってくるデータなので1度整形するかんじでしょうか？
ありがとうございました。

[waku_nagoya]

jsonの構成によってロジックはだいぶ変わってくると思いますので、次の質問に答えてください。

1. issuesの中に expand　は複数入る可能性はありますか？
2. epand が複数入る場合、 各 issues ごとに expand の件数は異なりますか？
3. self の URL は ' の閉じ忘れなのか、化けているだけなのかどちらでしょうか。

少なくとも、python に JSONを取り込む場合は、シングルクォーテーションではなく、正しくダブルクォーテーションに直した方が取り扱いやすいです。

[waku_nagoya]

先にサンプルを載せておきますね。

[xxyyxx]

ありがとうございます！！
是非参考にさせて頂きますm(_ _)m

[xxyyxx]

コメントが遅れてしまい申し訳ございませんでした、、