pandasのread_htmlがデータを読み込めない

Question

野球の試合結果のデータをpandasで集めようと思い途中までは上手くいったのですが

import pandas as pd

dfs = pd.read_html("http://2689web.com/1960/WD/WD10.html")
pitch_resul = dfs[9]

上記のコードを実行しようとしたら次のエラーが発生しました。

Some characters could not be decoded, and were replaced with REPLACEMENT CHARACTER.

Traceback (most recent call last):
  File "データ収集.py", line 31, in <module>
    pitch_result=dfs[9]
IndexError: list index out of range

11個のデータフレームが読み込まれるはずなのですが7個しか読み込まれませんでした。

どのようにすれば読み込めるのか教えて頂きたいです。

Answer 1

エンコーディングにcp932を指定して読み込んでください。

-dfs = pd.read_html("http://2689web.com/1960/WD/WD10.html")
+dfs = pd.read_html("http://2689web.com/1960/WD/WD10.html", encoding="cp932")

補足: このページのHTMLのmetaタグには、charset=Shift_JISと書かれています。しかし、pd.read_htmlのエンコーディングにShift_JISを指定すると、(7つめの表の読み込み途中に中断されてdfs[9]は生成されず)質問文に含まれているようなエラーが発生します。

これは、選手名「蓜島」(はいじま)の「蓜」の字がIANA定義のShift_JISには含まれていないためです。この字は、Microsoftコードページ932(cp932)に追加された拡張漢字なので、正しく取り扱うにはエンコーディングにcp932を指定する必要があります。

Microsoftコードページ932 - Wikipedia

Comments

[villas]

ありがとうございました。
上記の方法で解決しました。