PythonのPandasを利用してPivot風にデータ集約するための前処理について

Question

###前提・実現したいこと
３００万行ほどの下記のようなデータがあり（CSV）、
その際、欠損値や型違いの値を削除もしくは別の値に置き換えています。

この処理速度を速くするために良い方法はないでしょうか？

◆CSVデータ(test.csv)
item,earnings
商品A,123
商品B,
商品A,aaa
商品B,111
商品C,商品

このように、金額の列に欠損値や型違いの値があるため、クリーニング処理をしています。
###発生している問題・エラーメッセージ

（２）earnings列をint型に変換するところ
for i, v in df.iterrows():
    try:
        df.ix[i,1]=int(df.ix[i,1])
    except:
        df.ix[i,1]=0
 で25分程度

df_pivot = df.pivot_table(values = ['earnings'],index = ['item'],aggfunc = 'sum’)
で7分程度かかっています。

###該当のソースコード

import pandas as pd
#表示する行数を設定
#CSV読み込み
df = pd.read_csv('test.csv', names=['item','earnings'],skiprows=1)
#----クリーニング処理----#
#（1）NULL行削除
df=df.dropna()
#（２）earnings列をint型に変換する
#このとき、エラーとなった場合に「0」を入れる（ここで型違いがあるかどうかを判別している）
for i, v in df.iterrows():
    try:
        df.ix[i,1]=int(df.ix[i,1])
    except:
        df.ix[i,1]=0

#---PIVOT----#
df_pivot = df.pivot_table(values = ['earnings'],index = ['item'],aggfunc = 'sum')
#降順に並び替え
df_pivot=df_pivot.sort_values(by="earnings",ascending=False)
#CSVに出力
df_pivot.to_csv('pivot.csv')

###補足情報(言語/FW/ツール等のバージョンなど)
Python 3.5.1
Mac OS10.11.6
MacBook Pro (Retina, 13-inch, Late 2013)
2.6 GHz Intel Core i5
メモリ 8 GB 1600 MHz DDR3

Answer 1

• pandas には to_numeric という便利な関数があるので、それを使ってみるのはどうでしょうか。
• erros="coerce" を オプションにしていると型違いのデータは「NaN」扱いになります。
• その後さらに、dropna で NaN扱いのレコードを削除すれば、最終的にpivot_tableで集計する行数も減るので早くなりそうな気がします。

# (1) NULL行削除
df = df.dropna()
# (2) earnings を to_numeric 数値化する、型違いは NaN になる
df.earnings = pd.to_numeric(df.earnings, errors='coerce')
# (3) NULL行を削除
df = df.dropna()

Comments

[k7_pgms88]

ご連絡遅くなり申し訳ございません。
とても参考になりました！
試した所、該当部分は1秒ほどで処理が終わり、全体の処理も19秒程度で完了しました。
感激です！
こんなに便利な関数があるとは知りませんでした。

本当にありがとうございました！

[tell_k]

結果の連絡ありがとうございます。多少なりともお力になれて嬉しいです。

Answer 2

def try_convert_int(x):
  try:
    return int(x)
  except:
    return 0


df['earnings'] = df['earnings'].apply(try_convert_int, convert_dtype=int)

apply使ったらもう少し速そうですけどいかがでしょう。

Comments

[k7_pgms88]

ご連絡遅くなり申し訳ございません。

ベストアンサーにはtell_kさんにさせていただきましたが、
yubaさんに頂いた処理も本当に遜色なく、処理速度もほぼ一緒でございました。
行数がtell_kさんの方が数行短いということで、ベストアンサーとさせていただきました。

お二方に別々の手法を教えていただき大変感謝しております。