pandasのread_htmlでheader=Noneにしても1行目が読み込まれる
解決済
回答 2
投稿
- 評価
- クリップ 0
- VIEW 1,299
前提・実現したいこと
pandasのread_htmlでheader=Noneにしても1行目が読み込まれる
該当のソースコード
import pandas as pd
url = 'http://www.jfl.or.jp/jfl-pc/view/s.php?a=1411&f=2019A001_spc.html'
dfs = pd.read_html(url, header=None, skiprows=1, na_values='-')
print(dfs[0].columns)試したこと
Colaboratory
pandas==0.22.0
Int64Index([0, 1, 2, 3, 4, 5, 6], dtype='int64')
問題なし
Windows
pandas==0.23.4
Int64Index([0, 1, 2, 3, 4, 5, 6], dtype='int64')
問題なし
Windows
pandas==0.24.2
Index(['03月17日(日)', '13:00', 'Ｈｏｎｄａ ＦＣ', '1-1', '松江シティＦＣ', '都田', '詳細 公式記録'], dtype='object')
問題あり
補足情報（FW/ツールのバージョンなど）
ここにより詳細な情報を記載してください。
-
気になる質問をクリップする
クリップした質問は、後からいつでもマイページで確認できます。
またクリップした質問に回答があった際、通知やメールを受け取ることができます。
クリップを取り消します
-
良い質問の評価を上げる
以下のような質問は評価を上げましょう
- 質問内容が明確
- 自分も答えを知りたい
- 質問者以外のユーザにも役立つ
評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。
質問の評価を上げたことを取り消します
-
評価を下げられる数の上限に達しました
評価を下げることができません
- 1日5回まで評価を下げられます
- 1日に1ユーザに対して2回まで評価を下げられます
質問の評価を下げる
teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。
- プログラミングに関係のない質問
- やってほしいことだけを記載した丸投げの質問
- 問題・課題が含まれていない質問
- 意図的に内容が抹消された質問
- 過去に投稿した質問と同じ内容の質問
- 広告と受け取られるような投稿
評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。
質問の評価を下げたことを取り消します
この機能は開放されていません
評価を下げる条件を満たしてません
質問の評価を下げる機能の利用条件
この機能を利用するためには、以下の事項を行う必要があります。
- 質問回答など一定の行動
-
メールアドレスの認証
メールアドレスの認証
-
質問評価に関するヘルプページの閲覧
質問評価に関するヘルプページの閲覧
checkベストアンサー
+1
すでに解決しておりますが、気になりましたので少し調べてみました。
Version 0.24.0 のリリースノートによると read_html() に２点ほど変更が入ったようです。
read_html()copies cell data across colspan and rowspan, and it treats all-th table rows as headers if header kwarg is not given and there is no thead (GH17054)
read_html()no longer ignores all-whitespace <tr> within <thead> when considering the skiprows and header arguments. Previously, users had to decrease their header and skiprows values on such tables to work around the issue. (GH21641)
ソースコードレベルで追った訳ではないので、あくまでも推測になりますが、今回の挙動の原因は１つ目の変更の後半部に起因するものなのではないでしょうか。
対象となるTableは <thead></thead> が存在していないので、0.23 までは Headerが無いテーブルとして処理されていたのが、この変更により <thead></thead> が無い場合は <tbody></tbody> の１行目がヘッダとして扱われるようになり、更に skiprows=1 が指定されているので２行目がヘッダとして処理されているという事のような気がします。
ただ、ヘッダー行を指定したくない場合、 header=Nodeのパラメータが動作しないのは解せないですね・・・。
バグなのかもしれませんので、とりあえずは旧バージョンで逃げるというのは正解かもしれません。
あとはどちらの仕様でも使用できるように
pandas_version = list(map(int, pd.__verson__.split('.')))
if (pandas_version[0] == 0) and (pandas_version[1] < 24):
# 0.23 以前のバージョンの処理
else:
# 0.24 以降のバージョンの処理
のようにバージョンによって処理を分ける方法でも良いかもしれません。
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
0
最新の0.24.2では動かないため
pip install pandas==0.23.4
でバージョンを戻す
投稿
-
回答の評価を上げる
以下のような回答は評価を上げましょう
- 正しい回答
- わかりやすい回答
- ためになる回答
評価が高い回答ほどページの上位に表示されます。
-
回答の評価を下げる
下記のような回答は推奨されていません。
- 間違っている回答
- 質問の回答になっていない投稿
- スパムや攻撃的な表現を用いた投稿
評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。
15分調べてもわからないことは、teratailで質問しよう！
- ただいまの回答率 88.19%
- 質問をまとめることで、思考を整理して素早く解決
- テンプレート機能で、簡単に質問をまとめられる
質問への追記・修正、ベストアンサー選択の依頼
tiitoi
2019/04/10 18:14
以前は問題なく、0.24.2 ではそのような現象が起きたということでしょうか？
barobaro
2019/04/10 19:47
上記以外は試していませんが最新の0.24.2が動かないです。
tiitoi
2019/04/10 20:55
0.23.4 で動作することが確認できているのであれば、pip でバージョンを戻せばいいのではないでしょうか
tiitoi
2019/04/10 20:58
こちらでも試しましたが、確かに 0.23.4 では意図通り動き、0.24.2 では質問欄のようになりますね。pip install pandas==0.23.4 でバージョンを戻せます。
barobaro
2019/04/10 21:07
ありがとうございます。バージョン戻せれました。