スポーツ選手のデータをPythonでスクレイピング

Question

ウェブサイト上のプロ野球選手の情報をスクレイピングしていて２つの壁にぶち当たっています。

(1) ②で生成した「年（year)」を③で作ったデータフレームの中にカラムとして入れるには？
yearを使って生成したurlは③で追加出来たのですが、②で作ったyearを入れることが出来ません。
URLをスライスして取るわけではなく、②で使っているyearの変数をそのまま③でも入れることは可能ですか？

(2) カラム名の入った行を入れないためには？
なぜか、生成したデータにカラム名の入った行が２つ入ってきます。
試行錯誤してみたのですが、どの段階で入り込んでいるのかがよくわかりません。

import numpy
import pandas as pd
import matplotlib.pylab as plt
import csv
import pprint


#①urlをリスト形式で取得
df_all = []
years = range(19,8,-1)
urls = []

#②URLを生成
for year in years:
    if(year==19):
        urls.append('http://baseball-data.com/stats/pitcher-all/era-1.html')
    else:
        urls.append('http://baseball-data.com/'+ "{0:02d}".format(year)+'/stats/pitcher-all/era-1.html')

#③データをURLから取得
for url in urls:
    print('取得URL：'+url)
    df = pd.read_html(url, index_col=None, skiprows=0, header=0)[0]
    df['url'] = url
    df_all.append(df)
    
#④選手IDの作成
name_list = []
dic = {}
for i in range(len(df_all)):
    name_list.extend(df_all[i]['選手名'])
name_list = list(set(name_list))
for i,name in enumerate(name_list):
    dic[name] = i
    
#⑤選手IDの付与
for i in range(len(df_all)):
    df_all[i]['ID'] = -1
    for j in range(len(df_all[i])):
        df_all[i].loc[j,'ID'] = dic[df_all[i].loc[j,'選手名']]
    df_all[i].index = df_all[i]['ID']
    df_all[i] = df_all[i].drop('ID',axis=1)
    
#⑥index被りを除去
for i in range(len(df_all)):
    doubled_index = []
    count = df_all[i].index.value_counts()
    for j in count.index:
        if(count.loc[j]>1):
            doubled_index.append(j)
    df_all[i] = df_all[i].drop(doubled_index)

#⑦df化
output = pd.concat(df_all,axis=0)
output

Answer 1

(1) ②で生成した「年（year)」を③で作ったデータフレームの中にカラムとして入れるには？

url列を追加している方法と全く同じ方法でよいのではないでしょうか

#③データをURLから取得
for url, year in zip(urls, years): #<- yearsも一緒にループを回す
    print('取得URL：'+url)
    df = pd.read_html(url, index_col=None, skiprows=0, header=0)[0]
    df['url'] = url
    df['year'] = year # <- 追加
    df_all.append(df)

(2) カラム名の入った行を入れないためには？

作成されたデータを見る限り、ヘッダ行は一行に収まっております。

２行あるように見えるのは Indexに設定されている列に(ID)という名前が設定されている為、その名前が２行目に表示されている為かと思います。

ということであまり気にする必要は無いかと思います。