データフレーム内の文字列を整数化したいが、変換できない文字列が混ざっている。

Question

データフレーム内のある列の文字列を整数化したく以下を書きました。

col = df['列の名前']
col_int = col.astype(int)

しかし
ValueError: invalid literal for int() with base 10: '数字でない文字列'
というエラーが発生し、数字以外が含まれることが判明しました。

数字でない文字列がある行を削除し、そのほかは整数に変換するということは可能でしょうか？

Answer 1

以下のようにすればできます。

参考：
pandas.DataFrameの型を変えたいけど例外レコードがあってastypeできない時の対処法
Convert floats to ints in Pandas?

import pandas as pd

df = pd.DataFrame({'val':['1','b','3.3']})

# 文字列→数値(float)に変換 不可ならNaNに
df['val'] = pd.to_numeric( df['val'], errors='coerce')
print(df['val'].tolist()) # [1.0, nan, 3.3]

# float→intに変換
#df['val'] = df['val'].fillna(0.0).astype(int) # NaNを0にするだけならこれでもよい
df = df.dropna() # NaNを含む行を削除
df['val'] = df['val'].astype(int)
print(df['val'].tolist()) # [1, 0, 3]

Comments

[YaKa]

pd.to_numeric( df['val'], errors='coerce')　、こんな便利な書き方があったのですね。
具体的なコードもあり、わかりやすいご回答をありがとうございました。

Answer 2

pandas.numeric() を errors=coerce パラメータ付きで使用してください。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.to_numeric.html

import pandas as pd

col = df['列の名前']
col_int = pd.to_numeric(col, errors='coerce')

Comments

[YaKa]

どうもありがとうございます。リンクも参考にします。

Answer 3

前もって整数に変換できるのかを調べて、変換できるもののみ変換するようにすればいい