Pythonのreやpandasを使った外部サイトからのデータ取得が出来ません

Question

http://www.keipy53.esy.es/2015/01/24/getbaseballdata.html

を参考に、npbサイトから野球選手のデータを取得しています。
今回、全チームのデータを一度に取得したく考え、teamListを作成し、for文で回しているのですが
25 columns Passed ,passed data had 24 columns
と出てしまい、上手く動きません
columns_name に一つ項目を付け加えたことが原因だと思うのですが、
re_dataにもカラム数に合わせて、項目を増やすことは出来るのでしょうか

# -*- coding: utf-8 -*-
import re
import urllib.request, urllib.error
from bs4 import BeautifulSoup
from pandas import DataFrame
import numpy as np
import pandas as pd

opener = urllib.request.build_opener()
years = [2011,2012,2013,2014,2015]
teamList = ["h","bs","f","m","l","e","g","t","c","d","db","s"]
batting_data = DataFrame()
for year in years :
    for team in teamList :
        url="http://bis.npb.or.jp/"+str(year)+"/stats/idb1_"+team+".html"
        html = opener.open(url).read()
        shtml = html.decode('Shift-JIS','replace')
        soup = BeautifulSoup(shtml)
        data = soup.findAll("tr", attrs={"class":"ststats"})
        re_tag = re.compile(r'<tr.*?>|</tr>|<br/>|</td>|<td class="stplayer">|\n')
        re_data =  [re_tag.sub("", str(d)).split("<td>") for d in data]

        columns_name = ["Team","Year","Name","G","PA","AB","R","H","2B","3B","HR","TB","RBI","SB","CS","SAC","SF","BB","IBB","HBP","SO","GIDP","AVG","SLG","OBP"]
        _batting_data=DataFrame(re_data, columns = columns_name)
        _batting_data.Year=year
        _batting_data.Team = team
        batting_data= pd.concat([batting_data, _batting_data], axis=0)
batting_data.to_csv('data/batting_bs.csv')

Comments

[argius]

エラーに出ている通り、データには24カラムしか無いので、整合性がおかしいと言われています。足りない1カラムをどのように埋めたいのか、その点についてヒントいただけると回答できるかも知れません。

Answer 1

情報追加依頼してしまいましたが、
とりあえず、データの各行の最後の列にダミーの1カラムを追加する場合について書いておきます。

re_data = [re_tag.sub("", str(d)).split("<td>") for d in data]の
[re_tag.sub("", str(d)).split("<td>") for d in data]の部分は、「内包表記」と呼ばれるものです。

dataはHTMLテーブルの行（tr）が複数個まとめられたリストになっていますので、それを1つずつ取り出したものがdです。
re_tag.sub("", str(d)).split("<td>")の部分が、
dを加工して別のリストに変換する処理になっています。
この場合だと、<tr><td>A</td><td>B</td></tr>（細かいところは省略）というHTMLがあったら、Pythonのリスト['A', 'B']に変換します。

この行の最後の列にダミーの1カラムを追加するとしたら、リストの連結もしくは要素の追加を使って、リストに要素を足せばOKです。

re_data =  [re_tag.sub("", str(d)).split("<td>") + ['X'] for d in data]

上の例で言うと、['A', 'B'] + ['X']を計算していることになり、['A', 'B', 'X']が得られます。

こうすれば、全ての行の25カラム目にXという値が設定されたデータができます。

Comments

[ponkotsu]

先頭に空の一行を入れたかったのですが、ちょっと参考にやってみます
ありがとうございます

[argius]

では、["X"]は後ろではなく前に付ければ良さそうですね。

1列目にはインデックス番号らしきものが自動で入るのでそこには差し込めませんでしたが、
2列目に「(EMPTY)」という名前の空の列を追加することはできました。
もともと足りない1列も合わせて、2つ追加しないといけないみたいですね。

re_data = [ ["", ""] + re_tag.sub("", str(d)).split("<td>") for d in data]

columns_name = ["(EMPTY)", "Team","Year","Name","G",
"PA","AB","R","H","2B","3B","HR","TB","RBI","SB",
"CS","SAC","SF","BB","IBB","HBP","SO","GIDP","AVG","SLG","OBP"]