数値データ以外のデータを抜き出す

実現したいこと

rawデータを読み込みました。馬力を示すカラムがあります。.head()でやると数値データの様に見えますが、.info()で馬力のデータタイプを調べるとobjectと出ます。

恐らく数値データだと思っている馬力のデータの中に文字列が含まれているような気がします。例えば、200馬力とか。このようなデータを抽出したいです。

発生している問題・エラーメッセージ

queryを使って、「数値ではないデータを抜け」というコードを書けばいいのだと思いました。

python
1df_train['horsepower'].query('horsepower=="(\d+)"')

とコードを書いて実行しました。

'Series' object has no attribute 'query'

とエラーが出てしまいました。

どのようなコードを書けば、数字データ以外のデータを抜き出せるでしょうか。

行動規範の内容に同意します

回答3件

ベストアンサー

pandas.to_numeric(errors='coerce') してやると、数値に変換できなかったところが NaN になるので、それで判断してやるのはどうでしょう。

python
1df_train[pd.isna(pd.to_numeric(df_train['horsepower'], errors='coerce'))]

変換前から NaN (空欄) だったところも抽出されるので、それが気になるなら

python
1df_train[pd.isna(pd.to_numeric(df_train['horsepower'], errors='coerce'))
2         & pd.notna(df_train['horsepower'])]

投稿2022/11/15 00:17

bsdfan

総合スコア4925

BunkeiDX

2022/11/16 04:25

bsdfanさん、どうもありがとうございます。これからやってみます。

BunkeiDX

2022/11/16 12:48

badfanさん、 ```python df_train[pd.isna(pd.to_numeric(df_train['horsepower'], errors='coerce'))] ``` このコードが求めていたものでした。ありがとうございます。

行動規範の内容に同意します

カンマ区切りも考慮。※ これで上手く行く、とは限りませんが

python
1import pandas as pd
2import io
3
4pd.set_option('display.unicode.east_asian_width', True)
5
6csv_data = '''
7horse_power
810
920
1024.3
11"10,000馬力"
12204.3 馬力
13'''
14df = pd.read_csv(io.StringIO(csv_data))
15
16#
17df['horse_power'] = df['horse_power'].str.extract(r'([\d,.]+)')\
18                                     .replace(',', '', regex=True)\
19                                     .apply(pd.to_numeric, errors='coerce')
20
21print(df)
22df.info()
23
24#
25#    horse_power
26# 0         10.0
27# 1         20.0
28# 2         24.3
29# 3      10000.0
30# 4        204.3
31# 
32# <class 'pandas.core.frame.DataFrame'>
33# RangeIndex: 5 entries, 0 to 4
34# Data columns (total 1 columns):
35#  #   Column       Non-Null Count  Dtype  
36# ---  ------       --------------  -----  
37#  0   horse_power  5 non-null      float64
38# dtypes: float64(1)
39# memory usage: 168.0 bytes