[python3,pandas,DataFrame] ある特定の値のみを持つ行を抽出したい

Question

csvファイルの時点で文字化けしている行の削除

競馬のクラス分類システムを作っています.
CSVファイルからDataFrameへ読み込み,データの整形を行おうと考えています.
その際,スクレイピングを行なった時点で文字化けしているデータの行を削除したいと考えています.

画像でのご説明になってしまうのですが,
13行目からが正しいデータで,それ以前のデータが文字化けしてしまっており,削除したい行となっております.

発生している問題・エラーメッセージ

![]

該当のソースコード

keiba_data_set = pd.read_pickle('keiba_data_1_zido.pickle')

keiba_data_set = keiba_data_set.replace('\x113', '0')
keiba_data_set = keiba_data_set.replace('FALSE', '0')
keiba_data_set = keiba_data_set.replace('12月13日', '0')

試したこと

出ている文字化けの文字を1つずつ,0に置き換えたり,行を削除しようかと考えていたのですが,本質的な解決にはならないと思い,質問させていただきました.

考えている,方向性としましては
①'確定着順'の列の値が1~18でなければ行を削除　もしくは　
②'確定着順'の列のtypeがint型でなければ削除

とするのが現実的かと考えております.

ぜひ,ご教授をお願いいたします.

Answer 1

手順的には

1. データが10進数表記かどうかを調べ、対象外のものを削除(Series.str.isdecimal())
2. 上記のデータを数値型に変換(Series.astype())
3. 上の数値データが範囲内かどうか調べ、対象外のものを削除(Series.between())

で良いかと思います。

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.str.isdecimal.html
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.astype.html
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.between.html

import pandas as pd
import io

data="""
確定順位
14
1
308.7
12月13日
108.5
108.8
101.4
1.1
9
0
5
8
9
7
10
"""

df = pd.read_csv(io.StringIO(data))

df = df.loc[df['確定順位'].str.isdecimal()]
df['確定順位'] = df['確定順位'].astype(int)
df = df.loc[df['確定順位'].between(1,18)]
print(df)
#    確定順位
#0     14
#1      1
#8      9
#10     5
#11     8
#12     9
#13     7
#14    10

Comments

[nam19]

とてもわかりやすく,説明いただきありがとうございます.
うまく削除することができました！