pandasのread_htmlでheader=Noneにしても1行目が読み込まれる

前提・実現したいこと

該当のソースコード

python
1import pandas as pd
2
3url = 'http://www.jfl.or.jp/jfl-pc/view/s.php?a=1411&f=2019A001_spc.html'
4dfs = pd.read_html(url, header=None, skiprows=1, na_values='-')
5
6print(dfs[0].columns)
7

試したこと

Colaboratory
pandas==0.22.0
Int64Index([0, 1, 2, 3, 4, 5, 6], dtype='int64')
問題なし

Windows
pandas==0.23.4
Int64Index([0, 1, 2, 3, 4, 5, 6], dtype='int64')
問題なし

Windows
pandas==0.24.2
Index(['03月17日(日)', '13:00', 'ＨｏｎｄａＦＣ', '1-1', '松江シティＦＣ', '都田', '詳細公式記録'], dtype='object')
問題あり

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

tiitoi

2019/04/10 09:14

以前は問題なく、0.24.2 ではそのような現象が起きたということでしょうか？

barobaro

2019/04/10 10:47

上記以外は試していませんが最新の0.24.2が動かないです。

tiitoi

2019/04/10 11:55

0.23.4 で動作することが確認できているのであれば、pip でバージョンを戻せばいいのではないでしょうか

tiitoi

2019/04/10 11:58

こちらでも試しましたが、確かに 0.23.4 では意図通り動き、0.24.2 では質問欄のようになりますね。pip install pandas==0.23.4 でバージョンを戻せます。

barobaro

2019/04/10 12:07

ありがとうございます。バージョン戻せれました。

行動規範の内容に同意します

回答2件

ベストアンサー

すでに解決しておりますが、気になりましたので少し調べてみました。

Version 0.24.0 のリリースノートによると read_html() に２点ほど変更が入ったようです。

read_html() copies cell data across colspan and rowspan, and it treats all-th table rows as headers if header kwarg is not given and there is no thead (GH17054)

read_html() no longer ignores all-whitespace <tr> within <thead> when considering the skiprows and header arguments. Previously, users had to decrease their header and skiprows values on such tables to work around the issue. (GH21641)

ソースコードレベルで追った訳ではないので、あくまでも推測になりますが、今回の挙動の原因は１つ目の変更の後半部に起因するものなのではないでしょうか。

対象となるTableは <thead></thead> が存在していないので、0.23 までは Headerが無いテーブルとして処理されていたのが、この変更により <thead></thead> が無い場合は <tbody></tbody> の１行目がヘッダとして扱われるようになり、更に skiprows=1 が指定されているので２行目がヘッダとして処理されているという事のような気がします。

ただ、ヘッダー行を指定したくない場合、 header=Nodeのパラメータが動作しないのは解せないですね・・・。
バグなのかもしれませんので、とりあえずは旧バージョンで逃げるというのは正解かもしれません。

あとはどちらの仕様でも使用できるように

Python
1pandas_version = list(map(int, pd.__verson__.split('.')))
2if (pandas_version[0] == 0) and (pandas_version[1] < 24):
3    # 0.23 以前のバージョンの処理
4else:
5    # 0.24 以降のバージョンの処理