pandasのread_htmlがデータを読み込めない

Question

以下のコードが動きません。

url = 'https://db.netkeiba.com/race/198601010101/'
print(pd.read_html(url))

エラーコード全文

Traceback (most recent call last):
  File "D:\801_dev\001_netkeiba\test.py", line 13, in <module>
    print(pd.read_html(url))
  File "C:\Users\oqoqz\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\util\_decorators.py", line 311, in wrapper
    return func(*args, **kwargs)
  File "C:\Users\oqoqz\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\io\html.py", line 1113, in read_html
    return _parse(
  File "C:\Users\oqoqz\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\io\html.py", line 944, in _parse
    ret.append(_data_to_frame(data=table, **kwargs))
  File "C:\Users\oqoqz\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\io\html.py", line 823, in _data_to_frame
    with TextParser(body, header=header, **kwargs) as tp:
  File "C:\Users\oqoqz\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\io\parsers\readers.py", line 1351, in TextParser
    return TextFileReader(*args, **kwds)
  File "C:\Users\oqoqz\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\io\parsers\readers.py", line 934, in __init__
    self._engine = self._make_engine(f, self.engine)
  File "C:\Users\oqoqz\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\io\parsers\readers.py", line 1236, in _make_engine
    return mapping[engine](f, **self.options)
  File "C:\Users\oqoqz\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\io\parsers\python_parser.py", line 115, in __init__
    ) = self._infer_columns()
  File "C:\Users\oqoqz\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\io\parsers\python_parser.py", line 497, in _infer_columns
    columns, columns[0], num_original_columns
IndexError: list index out of range

対象のURLはスクレイピングの対象なのに、なぜか対象じゃない扱いをされてしまい困っています。
解決策あればご教示ください。

Answer 1

HTML のソースコードを眺めてみると、table 要素内に th もしくは td 要素がない場合に当該のエラーが発生する模様です。つまり、テーブルのカラム数が 0 の場合は "list index out of range" が発生してしまうわけです。なので、一旦 BeautifulSoup でスクレイピングしてフィルタリングします。

import requests
from bs4 import BeautifulSoup
import pandas as pd

pd.set_option('display.unicode.east_asian_width', True)
pd.set_option('display.max_colwidth', None)

url = 'https://db.netkeiba.com/race/198601010101/'
r = requests.get(url)
r.encoding = r.apparent_encoding
soup = BeautifulSoup(r.text, "lxml")

# tr と td 要素を持つ table 要素のみをデータフレームに変換
dfs = [pd.read_html(str(t))[0] for t in soup.select('table:has(tr td)')]

for df in dfs:
    print(df, end='\n\n')

#
   着順  枠番  馬番              馬名 性齢  斤量      騎手  タイム   着差  単勝  人気    馬体重         調教師
0     1     2     2          ワクセイ  牡4    55  柏崎正次  1:34.3    NaN   2.1     1    468(0)  [東] 宮沢今朝
1     2     3     3    マツタカラオー  牡4    55  国兼正浩  1:36.0     大   7.0     4   430(+4)  [東] 斎藤籌敬
2     3     5     5  カンキョウヘルス  牡4    55  古小路重  1:36.2  1.1/4  59.1     6   460(-4)    [西] 境直行
3     4     6     6    スズタカエース  牡5    57  小谷内秀  1:36.6  2.1/2   2.1     2  456(+14)  [西] 坂口正大
4     5     7     7  クリヤーパーマン  牡4    55  猿橋重利  1:37.4      5   6.2     3   432(-6)  [西] 荻野光男
5     6     1     1        ラガーヒム  牡4    55  大久保光  1:38.1      4  59.1     6   436(+6)  [西] 大久保正
6     7     4     4  レミーファイヤー  牡4    55  松田幸春  1:39.2      7  24.2     5   450(+4)  [西] 大根田裕

      0      1       2   3
0  単勝      2     210   1
1  複勝     23  100230  14
2  枠連  2 - 3     510   2

        0                                                               1
0  ラップ            7.7 - 11.4 - 11.6 - 12.0 - 12.7 - 12.6 - 12.6 - 13.7
1  ペース  7.7 - 19.1 - 30.7 - 42.7 - 55.4 - 68.0 - 80.6 - 94.3 (7.7-7.7)

Comments

[rkz8356]

丁寧にありがとうございます。
ちょうど、read_htmlでは対応できない事象が発生して困っていたのでこのやり方で統一するようにしたいと思います。