Python：読込み前のデータの整形

Question

###前提・実現したいこと
他人から貰ったtest.csvというファイルを読み込んでグルーピングしてまとめたい。
そしてあるコラムを軸にソートをかけたい。

・test.csv(元のデータ)
Id,Month,Country,Count,Sales,Share
3310-15,17年4月,アメリカ,25,50,15
3310-15,17年4月,カナダ,5,10,3
3310-15,17年5月,アメリカ,50,100,30
3310-15,17年5月,カナダ,15,30,9
3310-15,17年6月,アメリカ,20,40,12
3310-15,17年6月,イギリス,10,20,6
3310-28,17年4月,アメリカ,5,10,3
3310-28,17年6月,イギリス,5,10,3
3310-30,17年5月,アメリカ,5,10,3
3310-30,17年5月,カナダ,5,10,3

・by_month.csv（完成形の表）
Id,17年4月,17年5月,17年6月
3310-30,0,10,0
3310-28,5,0,5
3310-15,30,65,30
※17年4月を軸に少ない値順でソート

###発生している問題・エラーメッセージ
①エラーは出ないが、数字が足されずにお尻に付いてしまいます。
結果
ーーーーーーーーーーーーーーーーー
Id,17年4月,17年5月,17年6月
3310-15,30,65,30
3310-28,5,0,5
3310-30,0,55,0
ーーーーーーーーーーーーーーーーー
※3310-30の５月は本来なら10のはずだか、55となってしまいます。

②ソート部分をどうかけば良いかわからないです。

###該当のソースコード
import pandas as pd

df = pd.read_csv('test.csv')
pv = pd.pivot_table(data=df, values='Count', columns='Month', index='Id', aggfunc='sum', fill_value=0)
pv.to_csv('by_month.csv')

###試したこと
①test.csvが数字と文字が混ざってしまっているのでint()とかdtype()で処理をするのかなと思うが、書き方がわからないです。
※力技で元のcsvをコピペしてインデックス/コラム以下の部分を数値に直して取り込みました。

②単純にsort()をどう使えば良いかわからないです。

###補足情報(言語/FW/ツール等のバージョンなど)
Mac OS High Sierra 10.13.2
Python 3.6.4

Answer 1

質問に記述していただいたデータで動作確認してみましたが、私もKojiDoiさん同様に現象を再現できませんでした。

それでも実際の結果が '3310-30の５月' の結果が55となっているのであられば、 Count Columnのデータが文字列として扱われているのではないかと思います。

とりあえずは CSVファイルを読み込み後、

print(df.dtypes)

を実行し、 各Columnのデータ型を確認してみてください。もしここで
Count object　
となっておりましたら、データが文字列として扱われております。
通常は数値データは数値型として読み込まれますので、一度データを確認をしてみてください。

一応、

df['Count'] = df['Count'].astype('int')

とすることで型変換をすることが出来ますし、データ読み込み(read_csv)時に

df = pd.read_csv('test.csv', dtype={'Count':'int'})

と型を指定して読み込むことも出来ますので、こちらも確認してみるとよいかもしれません。

ソートの件はKojiDoiさんが回等している通り、DataFrame.sort_values()をお使いください

https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.sort_values.html

Comments

[kumer1]

ありがとうございました。print(df.dtypes)役に立ちました。ご指摘の通り、objectになってました。色々なcsvで記載されてる方法でobjectをintにする処理を試して見てたのですが、たまに下記のようなエラーが出る場合がありました。

例）
ValueError: invalid literal for int() with base 10: '9.70'

数字は引っかかるセルにより、毎回違うのですが、これはこの部分だけ10進数になってるからエラーですよという事でしょうか？これを解決するにはどうしたら良いでしょうか？

[magichan]

これは 『文字列を10進の数値データに変更しようとしたら '9.70' という文字列が出てきたけど、どうするよ』というエラーです
たとえば、一度 float に変換してから int に再変換

df['Count'] = df['Count'].astype('float').astype('int')

などで一応回避できるとは思いますが、データ自体が一部壊れている可能性がありますので、もとデータを確認してみてください

[kumer1]

ありがとうございます。その過程で"1,280"というobject？に引っかかり、エラーがでますが、オリジナルのcsvからカンマを取り除くと次の数字に引っかかるまで進みます。オリジナルはwindowsのエクセルで作成されて私はmacでnumbersで開いてcsvへutf-8で吐き出してます。ここら辺の過程でごちゃごちゃになってしまうんでしょうか？

Answer 2

エラー1は再現しませんでした。

sortは次のような感じでいいんじゃないでしょうか。

pv.sort_values(by="17年4月").to_csv("sort_by_17-4.csv")

Comments

[kumer1]

ありがとうございます。
②ソートの件、うまくいきました。さらに突っ込んで聞きたいのですが、by="Id"でソートしようとするとKeyError:'Id'が発生します。print(pv.dtype)を実行するとコラムにIdが無い表示結果が帰ってきます。これはコラムにIdが無い事を意味すると思うのですが、csvの表示結果はIdのコラムが存在します。
これはどういった事なのでしょうか？またIdをコラムに追加する方法があればお教えください。宜しくお願い致します。