(Python)GroupByで指定した列を含んだDataFrameを作る方法

Question

Python初心者で、大変恐縮なのですが質問があります。

下記のようなデータを月別に集計してプロットしたいのですが、

date 　sale
2018/01 100
2018/01 200
2018/02 100

csv=csv.groupby('date')["sale"].sum()
plt.scatter(csv["date"], csv["sale"])

とするとKeyError: 'date'と出てしまいます。

saleはcsv["sale"]と参照できるのですが、
groupbyで指定した"date"を含めてDataFrameを作成するにはどうしたらよいでしょうか。

Answer 1

csv.groupby('date')['sale'].sum() にて得られる結果は DataFrame ではなく、Seriesとなります。
更に groupby() した結果 'date' は index として格納されておりますので csv['date'] ではなく csv.index と指定する必要があります。

ですので、このデータをプロットする際は
ax.scatter(csv.index, csv.values)
となるかと思います。

dkato0077さんの書かれている通り、Series.plot() を使う手もありますが、残念ながらSeriesでは kind='scatter' が使えないみたいです。

以下に簡単なテストサンプルを記述しました。

import pandas as pd
import matplotlib.pyplot as plt
import matplotlib.dates as mdates

# 適当なデータを生成
csv = pd.DataFrame({
    'date':['2018/01','2018/01','2018/02','2018/02','2018/03','2018/03'],
    'sale':[100,200,100,300,100,400]
})
csv['date'] = pd.to_datetime(csv.date)

csv = csv.groupby('date')['sale'].sum()
ax = plt.subplot()
ax.scatter(csv.index, csv.values)
ax.xaxis.set_major_locator(mdates.MonthLocator())
ax.xaxis.set_major_formatter(mdates.DateFormatter("%Y-%m"))
plt.show()

---

結果を SeriesではなくDataFrameにて得たい場合は、
csv.groupby('date')['sale']
のように Column名 'sale' にて指定するのではなく、
csv.groupby('date')[ ['sale'] ]
のようにリストで指定するとよいかと思います。

ただこの場合も**'date'** は index として格納されておりますので注意してください

で、こちらの場合のプロットはこんな感じ（ほとんど同じだけど・・）

import pandas as pd
import matplotlib.pyplot as plt
import matplotlib.dates as mdates

# 適当なデータを生成
csv = pd.DataFrame({
    'date':['2018/01','2018/01','2018/02','2018/02','2018/03','2018/03'],
    'sale':[100,200,100,300,100,400]
})
csv['date'] = pd.to_datetime(csv.date)

csv = csv.groupby('date')[['sale']].sum()
ax = plt.subplot()
ax.scatter(csv.index, csv['sale'])
ax.xaxis.set_major_locator(mdates.MonthLocator())
ax.xaxis.set_major_formatter(mdates.DateFormatter("%Y-%m"))
plt.show()

Comments

[退会済みユーザー]

おや、動かないところがありましたか。動作の確認はしたつもりだったのですが、失礼しました。

[magichan]

いやいや、dkato0077 さんのサンプルの場合は csv.groupby('date').sum() と全てのColumnのsum() をとる事で DataFrameとして結果を得ておりますので、全く問題ないかと思います。問題があるのは Seriesデータを Sreas.plot(kind='scatter') とした場合となります。

[magichan]

紛らわしい記述で申し訳ありませんでした

[退会済みユーザー]

Siriesのほうでしたか、勘違いしました。すいません。

[gitiiii]

ありがとうございます。正直ベストアンサーをどちらにするか大変迷ったのですが、
こちらの方が私にとっては書きやすいかなと思い、ベストアンサーとさせていただきました。

Answer 2

groupby後のdataframe(csv)のインデックスにdateは残っているので、それをcsv.index.valuesで取り出して、scatterに渡せばうまくいくはずです

Answer 3

最初の質問に答えておりませんでした。
dateをindexにせずに列として残す場合はas_index=Falseのオプションをつければいいです。

csv = csv.groupby("date", as_index=False).sum()
csv.plot(x="date", y="sale", style="o")

ただ、これだとplotしても軸が正しく反映されないので、dateのデータタイプをdatetimeに変更しておきます。

csv["date"] = pd.to_datetime(csv["date"])
csv = csv.groupby("date", as_index=False).sum()
ax = csv.plot(x="date", y="sale", style="o")

xticks = pd.date_range(csv["date"].min(), csv["date"].max(), freq="MS")
ax.set_xticks(xticks)

最後の２行はx軸を一か月ごとにするためのものです。

---

以下、最初の回答

groupbyのとこにある[“sale”]を外す。

csv=csv.groupby('date').sum()
plt.scatter(csv["date"], csv["sale"])

あと、DataFrameのプロットまでやるなら

csv.set_index(‘date’)
csv = csv.groupby(‘date’).sum()
csv.plot()

と、pandas側でやってしまう方がいいかもしれません。

Comments

[gitiiii]

申し訳ありません、誤字がありました。monthでなくdateとなります。

[退会済みユーザー]

scatterを使いたい場合はmagichanさんのほうが参考になると思います。

[gitiiii]

ありがとうございます、とても参考になりました。