object型からint型に変換したいが''のせいでできない？

Question

前提・実現したいこと

object型でインポートされたデータフレームの中の値を
全てint型にしたいと思っております。

しかし、数値が''で囲まれているようで、
.replace("''", '')で対処しようとしたのですが、
中々うまくいきません。

下記はデータの一部です。

	months	total	organic	guests
0	Jan	1,021,069	561,101	103,929

発生している問題・エラーメッセージ

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-8-b66f6148172e> in <module>
      1 df = df.replace("''", '')
----> 2 df = df.astype(int)
      3 df.info()

c:\users\lib\site-packages\pandas\core\generic.py in astype(self, dtype, copy, errors)
   5695         else:
   5696             # else, only a single dtype is given
-> 5697             new_data = self._data.astype(dtype=dtype, copy=copy, errors=errors)
   5698             return self._constructor(new_data).__finalize__(self)
   5699 

c:\users\lib\site-packages\pandas\core\internals\managers.py in astype(self, dtype, copy, errors)
    580 
    581     def astype(self, dtype, copy: bool = False, errors: str = "raise"):
--> 582         return self.apply("astype", dtype=dtype, copy=copy, errors=errors)
    583 
    584     def convert(self, **kwargs):

c:\users\lib\site-packages\pandas\core\internals\managers.py in apply(self, f, filter, **kwargs)
    440                 applied = b.apply(f, **kwargs)
    441             else:
--> 442                 applied = getattr(b, f)(**kwargs)
    443             result_blocks = _extend_blocks(applied, result_blocks)
    444 

c:\users\lib\site-packages\pandas\core\internals\blocks.py in astype(self, dtype, copy, errors)
    623             vals1d = values.ravel()
    624             try:
--> 625                 values = astype_nansafe(vals1d, dtype, copy=True)
    626             except (ValueError, TypeError):
    627                 # e.g. astype_nansafe can fail on object-dtype of strings

c:\users\lib\site-packages\pandas\core\dtypes\cast.py in astype_nansafe(arr, dtype, copy, skipna)
    872         # work around NumPy brokenness, #1987
    873         if np.issubdtype(dtype.type, np.integer):
--> 874             return lib.astype_intsafe(arr.ravel(), dtype).reshape(arr.shape)
    875 
    876         # if we have a datetime/timedelta array of objects

pandas\_libs\lib.pyx in pandas._libs.lib.astype_intsafe()
ValueError: invalid literal for int() with base 10: '1,021,069'

該当のソースコード

data = pd.read_csv(path, sep=',')
data.info()
"""
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 13 entries, 0 to 12
Data columns (total 4 columns):
 #   Column   Non-Null Count  Dtype 
---  ------   --------------  ----- 
 0   months   13 non-null     object
 1   total    13 non-null     object
 2   organic  13 non-null     object
 3   guests   13 non-null     object
dtypes: object(4)
memory usage: 272.0+ bytes
"""
df = data.drop('months', axis=1)
df = df.replace("''", '')
df = df.astype(int)
df.info()

何卒宜しくお願い致します。

Answer 1

ValueError: invalid literal for int() with base 10: '1,021,069'とのことなので、カンマ,が含まれているのが原因ですのでreplace(',','', regex=True)のようにしてください。
なお、文字列の一部を置換したいのでregex=Trueが必要です。
指定しないと,という値と完全一致するセル値しか置換されません。

Comments

[magichan]

DataFrame.replace() で正規表現の文字列置換が行えたのですね。
完全一致だけかと思ってました。

[8524ba23]

置換されないので「なんで？」と思ってマニュアル確認したら載ってました。一括処理できるので便利ですね。

Answer 2

df.replace() は要素の値を入れ替える(完全一致で入れ替わる)為のものなので、文字列の一部を置き換える用途には使えません。

今回のように文字列の一部を置き換えるためには Series.str.replace() を使用してください。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.str.replace.html

ただこれは DataFrameではなくSeries に対するMethodですので、DataFreme.apply() 等で列毎に適用する必要がありますので

df = df.apply(lambda d: d.str.replace(',', '')).astype(int)

のように記述する必要があります。
ということで上記の方法で ','を削除した後に astype(int)を行うとよいのではないでしょうか。

動作確認

import pandas as pd
df = pd.DataFrame([['Jan','1,021,069','561,101','103,929']],
                  columns = ['months','total','organic','guests'])

df = df.drop('months', axis=1)
df = df.apply(lambda d: d.str.replace(',', '')).astype(int)

print(df)
#     total  organic  guests
#0  1021069   561101  103929

df.info()
#<class 'pandas.core.frame.DataFrame'>
#RangeIndex: 1 entries, 0 to 0
#Data columns (total 3 columns):
# #   Column   Non-Null Count  Dtype
#---  ------   --------------  -----
# 0   total    1 non-null      int64
# 1   organic  1 non-null      int64
# 2   guests   1 non-null      int64
#dtypes: int64(3)
#memory usage: 152.0 bytes