データフレームをpandasのgroupbyでグループ化してMySQLのテーブルに挿入したい

Question

下記のようなデータフレーム（df1）があるとします。

product　area　amount
梨　　　千葉　　3,400
メロン　北海道　2,100
梨　　　栃木　　2,400
メロン　茨城　　4,200
クリ　　熊本　　2,500
クリ　　愛媛　　　800
梨　　　茨城　　2,300
クリ　　茨城　　4,400
メロン　熊本　　2,200

このデータフレームをpandasのgroupbyで下記のようにグループ化して、MySQLのテーブルに挿入したいと考え、プログラムを書いてみました。

product　area　amount
クリ　　熊本　　2,500
クリ　　愛媛　　　800
クリ　　茨城　　4,400
梨　　　千葉　　3,400
梨　　　栃木　　2,400
梨　　　茨城　　2,300
メロン　北海道　2,100
メロン　茨城　　4,200
メロン　熊本　　2,200

import pandas as pd
from sqlalchemy import create_engine

df2 = df1.groupby('product')

engine = create_engine('mysql+pymysql://root:hoge@localhost:3306/fuga?charset=utf8')
df2.to_sql(name='piyo', con=engine, if_exists='replace', index=False)

groupbyによるグループ化、およびto_sqlによるMySQLへの挿入はそれぞれ単独では問題なく機能しているようなのですが、これらを組み合わせて「グループ化 → MySQLへの挿入」をやろうとすると、下記のエラーメッセージが出てしまいます。

AttributeError: Cannot access callable attribute ‘to_sql’ of ‘DataFrameGroupBy’ objects, try using the ‘apply’ method

どのようにしたらエラーを回避して「グループ化 → MySQLへの挿入」ができるかご教示いただけないでしょうか。
よろしくお願い致します。

Comments

[bsdfan]

やろうとしていることの意図はなんでしょうか？
並べ替えてからデータベースに入れても、並べ替えた通りにデータベースに格納されるわけではないです。

[jkichi]

ご質問いただきありがとうございます。
MySQLについてあまり詳しくないので
私の確認のやり方が間違っているのかもしれないのですが
今回ご回答いただいたやり方でデータを並べ替えて
データベースに挿入した後、テーブルを確認したところ
並べ替えた通りに格納されているようでした。

また後で間違っていることが分かるのかもしれませんが
とりあえず上手くいっていると考えて先に進んでみようと思います。

またアドバイスをいただけると幸いです。
よろしくお願い致します。

[bsdfan]

とりあえず先に進むのでいいと思いますが、今回はたまたま想定通りになっているだけで、そうならない場合もあることは知っておいた方がいいですよ。

Answer 1

グループ化はこういう目的のものではありません。
グループ化した状態からそういう形にするのは不可能ではありませんがとても大変です。

以下のように並べ替えをしましょう。

>>> print(df)
  product area amount
0       梨   千葉  3,400
1     メロン  北海道  2,100
2       梨   栃木  2,400
3     メロン   茨城  4,200
4      クリ   熊本  2,500
5      クリ   愛媛    800
6       梨   茨城  2,300
7      クリ   茨城  4,400
8     メロン   熊本  2,200
>>> df_sorted = df.sort_values('product').reset_index(drop=True)
>>> print(df_sorted)
  product area amount
0      クリ   熊本  2,500
1      クリ   愛媛    800
2      クリ   茨城  4,400
3     メロン  北海道  2,100
4     メロン   茨城  4,200
5     メロン   熊本  2,200
6       梨   千葉  3,400
7       梨   栃木  2,400
8       梨   茨城  2,300

Comments

[jkichi]

早速ご回答いただき誠にありがとうございます。
このようなシンプルなやり方で出来るのですね。
どうやらgroupbyを使用することで頭が凝り固まっていたようです。

ちなみにご回答いただいたやり方にさらに手を加えて
下記のように同じproduct内でamount順に並び替えることは可能でしょうか。

product area amount
0 クリ 熊本 2,500
1 クリ 愛媛 800
2 クリ 茨城 4,400
3 メロン 北海道 2,100
4 メロン 茨城 4,200
5 メロン 熊本 2,200
6 梨 千葉 3,400
7 梨 栃木 2,400
8 梨 茨城 2,300

＜amount順に並び替え＞
product area amount
0 クリ 茨城 4,400
1 クリ 熊本 2,500
2 クリ 愛媛 800
3 メロン 茨城 4,200
4 メロン 熊本 2,200
5 メロン 北海道 2,100
6 梨 千葉 3,400
7 梨 栃木 2,400
8 梨 茨城 2,300

お手数をお掛け致しますが、ご回答いただけると幸いです。
よろしくお願い申し上げます。

[jkichi]

この度はご回答いただき誠にありがとうございました。
無事、自分のやりたいことができるようになりました。
また質問させていただく際にはよろしくお願い致します。

Answer 2

import pandas as pd
import io

data="""product,area,amount
梨,千葉,'3,400'
メロン,北海道,'2,100'
梨,栃木,'2,400'
メロン,茨城,'4,200'
クリ,熊本,'2,500'
クリ,愛媛,'800'
梨,茨城,'2,300'
クリ,茨城,'4,400'
メロン,熊本,'2,200'"""

df_1=pd.read_csv(io.StringIO(data),quotechar="'",thousands=',')

df_1.sort_values(by=['product','amount'],ascending=[False,False]).reset_index(drop=True)

"""
	product	area	amount
0	梨	千葉	3400
1	梨	栃木	2400
2	梨	茨城	2300
3	メロン	茨城	4200
4	メロン	熊本	2200
5	メロン	北海道	2100
6	クリ	茨城	4400
7	クリ	熊本	2500
8	クリ	愛媛	800
"""

amountを数字(int)に直しておけば、このように複数のsortが可能です。

Comments

[jkichi]

追加の質問にご回答いただき誠にありがとうございます。
最初にご回答いただいたppaulさんの回答と合わせて
自分のやりたいことができるようになりました。
また質問させていただくことがあると思いますが
その際はぜひよろしくお願い致します。