複雑なデータテーブルのPandasでのスクレイピング

Question

やりたきこと

下記のページから選手の守備成績をスクレイピングしたいです。
テーブルの形が特殊で上手くスクレイピングが出来ません。

試行錯誤はしたのですが、下まで行くのが精一杯です。
このような複雑なシートはやはりスクレイピングは難しいのでしょうか？

###スクレイピング対象のページ
http://npb.jp/bis/2019/stats/idf1_l.html

コード

a = pd.read_html('http://npb.jp/bis/2019/stats/idf1_l.html')
b = a[0]
b = b.drop(0)
b.columns = b.loc[1]
b = b.drop(1)
b

上記コードのアウトプット

現状・理想のデータ

※出来ればNaNのものは全て0にしたいです。

Comments

[meshi_s]

試してないので分からないですが、BeautifulSoupでスクレイピングでは駄目なんですか？

[t_obara]

NaNが問題なのですか？何が一番の問題かをわかりやすく教えてください。

Answer 1

read_html時にheaderとindex_colを指定すれば形式としては整うと思います。
Nanについては条件で行を消したり置き換えたり出来るので、
それを使っていらない行を消して置き換えれば要件を満たすかと思います。

こういう感じでいかがでしょうか？

import pandas as pd


df = pd.read_html('http://npb.jp/bis/2019/stats/idf1_l.html', header = 1, index_col=1)[0]
df = df.drop('【一塁手】', axis=1)
df = df.dropna(subset=['試　合'])
df = df.fillna(0)
print(df)

手前味噌ですが、記事にまとめていますので、参考までにどうぞ。
https://mackerel-blog.com/scraping01

Comments

[Ponta2929]

ありがとうございます！
こんな方法が！完璧でした。
頂いたブログ記事も参考にさせて頂きました。

選手名が入っているカラム名を「選手」にしたいのですが、どうすれば出来ますか？
以下の２つのアプローチをしてみたのですが、上手く変更出来なかったです。

【index名のrename】
import pandas as pd

df = pd.read_html('http://npb.jp/bis/2019/stats/idf1_l.html', header = 1, index_col=1)[0]
df = df.drop('【一塁手】', axis=1)
df = df.dropna(subset=['試　合'])
df = df.rename(columns={index={'【一塁手】.1': '選手'})
df = df.fillna(0)

【カラム名のrename】
df = pd.read_html('http://npb.jp/bis/2019/stats/idf1_l.html', header = 1, index_col=1)[0]
df = df.drop('【一塁手】', axis=1)
df = df.dropna(subset=['試　合'])
df = df.rename(columns={''【一塁手】.1': '選手'})
df = df.fillna(0)
pd.DataFrame(df).to_csv('shubi.csv', encoding='utf_8_sig')

[mackerel6.023]

こうすると対応できるようです。

df.index.name = '選手'