IndexError: list index out of rangeのエラーについて

Question

前提・実現したいこと

webスクレイピングで、サッカーのクラブチームの情報をまとめたいです。
https://www.jleague.jp/

発生している問題・エラーメッセージ

IndexError: list index out of range

該当のソースコード

import csv
from urllib.request import urlopen
from bs4 import BeautifulSoup

#URLの指定
html = urlopen("https://www.jleague.jp/sp/club/sapporo/day/#player")
bsObj = BeautifulSoup(html, "html.parser")

#テーブルを指定
table = bsObj.findAll("table",{"class":"playerDataTable"})[0]
rows = table.findAll("tr")

csvFile = open("player.csv", 'wt', newline = '', encoding = 'utf-8')
writer = csv.writer(csvFile)

try:
    for row in rows:
        csvRow = []
        for cell in row.findAll(['td', 'th']):
            csvRow.append(cell.get_text())
        writer.writerow(csvRow)
finally:
    csvFile.close()

試したこと

utfを変えてみた
if文を追加した

補足情報（FW/ツールのバージョンなど）

使ったサイト
https://www.jleague.jp/sp/club/sapporo/day/#player

Python 3.6.4 :: Anaconda, Inc.

Comments

[y_waiwai]

で、しつもんはなんでしょうか

[gon_gon_tarou]

返信ありがとうございます。　https://www.jleague.jp/sp/club/sapporo/day/#playerの　ページにあるプレイヤーリストをエラーなく、csvファイルにして出力したいです

Answer 1

選手の一覧は後からJavascriptでレンダリングされているためデータがありません。
Javascriptを実行してからでないとスクレイピングできません。

Javascriptを実行するには

1. seleniumでJavascriptをレンダリングしてから実行
2. scrapy-splashでJavascriptをレンダリングしてから実行
3. requests-htmlでJavascriptをレンダリングしてから実行

の３種類あり一番簡単な3.requests-htmlで書きます。

Anacondaでrequests-htmlを検索しましたがないようでしたのでpipでインストールしてください
https://anaconda.org/search?q=requests-html

インストール

pip install requests-html

使い方

https://html.python-requests.org/

プログラム

import csv
from requests_html import HTMLSession

session = HTMLSession()
r = session.get('https://www.jleague.jp/sp/club/sapporo/day/#player')

# Javascriptレンダリング
r.html.render()

with open('player.csv', 'w') as fw:
    writer = csv.writer(fw, dialect='excel', lineterminator='\n')

    for trs in r.html.find('#loadArea > section > table > tbody > tr'):
        result = [td.text.replace('\n', '') for td in trs.find('td')]
        writer.writerow(result)

Comments

[gon_gon_tarou]

ありがとうございます！

無事解決いたしました。本当に感謝です。