スクレイピングしたデータの加工の仕方

J-leagueのサイトのスクレイピイングをしています。
全チームの情報をcsvファイルにして保存したいと思っています。
データを抽出すると、以下のようにすべて一つずつの要素として出力されます。
これを一番下のような要素すべてで1チームの情報としたいのですが加工の仕方がわかりません。
スクレイピングは初心者なのでわかる方いらっしゃいましたら、ご教授お願いいたします。

import requests
from bs4 import BeautifulSoup
import pandas as pd
import time
import os
url='https://data.j-league.or.jp/SFTD01/search?team_flag=0&competition_frames=1&competition_frames=2&competition_frames=3&competition_year_from=1993&competition_year_to=2020&HomeAwayId=0&competition_frames_name=%EF%BC%AA%EF%BC%91%E3%83%AA%E3%83%BC%E3%82%B0%2C%EF%BC%AA%EF%BC%92%E3%83%AA%E3%83%BC%E3%82%B0%2C%EF%BC%AA%EF%BC%93%E3%83%AA%E3%83%BC%E3%82%B0&competition_year_from_name=1993%E5%B9%B4&competition_year_to_name=2020%E5%B9%B4&teams_name='
r=requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
html=r.text

soup=BeautifulSoup(html,'html.parser')

data=soup.find(class_='table-base00 search-table')
all_data=data.findAll('tr')

info=[]
team_info=[]
#infoの情報を取得
data_1=all_data[0].find_all('th')
#infoにデータを格納
for i in data_1:
    info.append(i.get_text())
    
for i in range(1,len(all_data)):
    data_2=all_data[i].find_all('td')
    for j in data_2:
        team_info.append(j.get_text())
data__columns=[info]

['札幌', 'Ｊ１', '79', '76', '3', '0', '43', '159', '140', '15', '4', '355', '524', 'Ｊ１', '', '札幌', 'Ｊ２', '257', '251', '6', '0', '150', '190', '188', '2', '0', '789', '644', 'Ｊ１', '', '八戸', 'Ｊ３', '18', '18', '0', '0', '9', '21', '21', '0', '0', '65', '64', 'Ｊ３', '', '岩手', 'Ｊ３', '56', '56', '0', '0', '51', '105', '105', '0', '0', '246', '330', 'Ｊ３', '', '仙台', 'Ｊ１', '135', '133', '2', '0', '104', '176', '171', '5', '0', '509', '591', 'Ｊ１', '', '仙台', 'Ｊ２', '185', '175', '10', '0', '87', '125', '114', '11', '0', '592', '479', 'Ｊ１', '', '秋田', 'Ｊ３', '90', '90', '0', '0', '48', '73', '73', '0', '0', '270', '228', 'Ｊ３', '', '山形', 'Ｊ１', '30', '30', '0', '0', '36', '70', '70', '0', '0', '108', '199', 'Ｊ２', '', '山形', 'Ｊ２', '278', '268', '10', '0', '202', '267', '256', '11', '0', '918', '878', 'Ｊ２', '', '福島', 'Ｊ３', '67', '67', '0', '0', '52', '93', '93', '0', '0', '246', '298', 'Ｊ３', '', '鹿島', 'Ｊ１', '517', '475', '33', '9', '134', '284', '255', '21', '8', '1613', '1113', 'Ｊ１', '', '水戸', 'Ｊ２', '259', '250', '9', '0', '230', '389', '380', '9', '0', '911', '1176', 'Ｊ２', '', '栃木', 'Ｊ２', '121', '121', '0', '0', '110', '165', '165', '0', '0', '416', '500', 'Ｊ２', '', '栃木', 'Ｊ３', '33', '33', '0', '0', '20', '9', '9', '0', '0', '82', '44', 'Ｊ２', '', '群馬', 'Ｊ２', '151', '151', '0', '0', '142', '285', '285', '0', '0', '571', '871', 'Ｊ２', '', '群馬', 'Ｊ３', '33', '33', '0', '0', '16', '17', '17', '0', '0', '96', '69', 'Ｊ２', '', '浦和', 'Ｊ１', '424', '388', '25', '11', '146', '334', '297', '31', '6', '1414', '1214', 'Ｊ１', '', '浦和', 'Ｊ２', '28', '23', '5', '0', '3', '9', '7', '2', '0', '82', '40', 'Ｊ１', '', '大宮', 'Ｊ１', '129', '129', '0', '0', '104', '175', '175', '0', '0', '455', '579', 'Ｊ２', '', '大宮', 'Ｊ２', '199', '187', '12', '0', '76', '122', '117', '5', '0', '557', '424', 'Ｊ２', '', '千葉', 'Ｊ１', '227', '195', '26', '6', '70', '281', '236', '37', '8', '874', '980', 'Ｊ２', '', '千葉', 'Ｊ２', '172', '172', '0', '0', '108', '149', '149', '0', '0', '602', '517', 'Ｊ２', '', '柏', 'Ｊ１', '331', '303', '24', '4', '126', '295', '272', '18', '5', '1153', '1095', 'Ｊ１', '', '柏', 'Ｊ２', '75', '75', '0', '0', '27', '24', '24', '0', '0', '240', '117', 'Ｊ１', '', 'FC東京', 'Ｊ１', '270', '262', '8', '0', '141', '233', '227', '6', '0', '897', '820', 'Ｊ１', '', 'FC東京', 'Ｊ２', '44', '42', '2', '0', '11', '19', '17', '2', '0', '118', '57', 'Ｊ１', '', '東京Ｖ', 'Ｊ１', '226', '189', '31', '6', '43', '207', '173', '24', '10', '767', '713', 'Ｊ２', '', '東京Ｖ', 'Ｊ２', '230', '230', '0', '0', '149', '197', '197', '0', '0', '780', '695', 'Ｊ２', '', '町田', 'Ｊ２', '73', '73', '0', '0', '74', '82', '82', '0', '0', '260', '287', 'Ｊ２', '', '町田', 'Ｊ３', '43', '43', '0', '0', '17', '9', '9', '0', '0', '111', '40', 'Ｊ２', '', '川崎Ｆ', 'Ｊ１', '280', '276', '4', '0', '117', '160', '160', '0', '0', '1011', '728', 'Ｊ１', '', '川崎Ｆ', 'Ｊ２', '126', '118', '8', '0', '33', '53', '48', '5', '0', '401', '232', 'Ｊ１', '', '横浜FM', 'Ｊ１', '457', '417', '30', '10', '163', '316', '285', '27', '4', '1456', '1135', 'Ｊ１', '', '横浜FC', 'Ｊ１', '9', '9', '0', '0', '6', '35', '35', '0', '0', '40', '99', 'Ｊ１', '', '横浜FC', 'Ｊ２', '269', '266', '3', '0', '210', '292', '289', '3', '0', '921', '1003', 'Ｊ１', '', 'YS横浜', 'Ｊ３', '47', '47', '0', '0', '50', '115', '115', '0', '0', '225', '363', 'Ｊ３', '', '横浜Ｆ', 'Ｊ１', '117', '92', '18', '7', '0', '111', '90', '17', '4', '375', '373', '', '', '湘南', 'Ｊ１', '145', '127', '13', '5', '50', '246', '227', '16', '3', '581', '806', 'Ｊ１', '', '湘南', 'Ｊ２', '253', '246', '7', '0', '143', '217', '208', '9', '0', '828', '745', 'Ｊ１', '', '相模原', 'Ｊ３', '75', '75', '0', '0', '52', '85', '85', '0', '0', '262', '306', 'Ｊ３', '', '甲府', 'Ｊ１', '69', '69', '0', '0', '73', '130', '130', '0', '0', '255', '404', 'Ｊ２', '', '甲府', 'Ｊ２', '217', '215', '2', '0', '140', '213', '204', '9', '0', '754', '755', 'Ｊ２', '', '松本', 'Ｊ１', '13', '13', '0', '0', '20', '35', '35', '0', '0', '51', '94', 'Ｊ２', '', '松本', 'Ｊ２', '126', '126', '0', '0', '75', '70', '70', '0', '0', '359', '270', 'Ｊ２', '', '長野', 'Ｊ３', '99', '99', '0', '0', '60', '53', '53', '0', '0', '270', '184', 'Ｊ３', '', '新潟', 'Ｊ１', '156', '156', '0', '0', '115', '201', '201', '0', '0', '557', '679', 'Ｊ２', '', '新潟', 'Ｊ２', '150', '138', '12', '0', '58', '103', '93', '10', '0', '482', '370', 'Ｊ２', '', '富山', 'Ｊ２', '59', '59', '0', '0', '60', '132', '132', '0', '0', '234', '374', 'Ｊ３', '', '富山', 'Ｊ３', '75', '75', '0', '0', '46', '57', '57', '0', '0', '231', '194', 'Ｊ３', '', '金沢', 'Ｊ２', '69', '69', '0', '0', '77', '83', '83', '0', '0', '271', '293', 'Ｊ２', '', '金沢', 'Ｊ３', '23', '23', '0', '0', '6', '4', '4', '0', '0', '56', '20', 'Ｊ２', '', '清水', 'Ｊ１', '399', '349', '42', '8', '139', '363', '333', '23', '7', '1307', '1321', 'Ｊ１', '', '清水', 'Ｊ２', '25', '25', '0', '0', '9', '8', '8', '0', '0', '85', '37', 'Ｊ１', '', '磐田', 'Ｊ１', '385', '344', '37', '4', '130', '299', '275', '19', '5', '1342', '1113', 'Ｊ２', '', '磐田', 'Ｊ２', '49', '49', '0', '0', '31', '23', '23', '0', '0', '168', '118', 'Ｊ２', '', '藤枝', 'Ｊ３', '80', '80', '0', '0', '42', '90', '90', '0', '0', '274', '302', 'Ｊ３', '', '沼津', 'Ｊ３', '45', '45', '0', '0', '29', '39', '39', '0', '0', '148', '121', 'Ｊ３', '', '名古屋', 'Ｊ１', '407', '372', '28', '7', '137', '355', '326', '23', '6', '1380', '1292', 'Ｊ１', '', '名古屋', 'Ｊ２', '23', '23', '0', '0', '6', '13', '13', '0', '0', '85', '65', 'Ｊ１', '', '岐阜', 'Ｊ２', '127', '127', '0', '0', '117', '259', '259', '0', '0', '509', '815', 'Ｊ３', '', '岐阜', 'Ｊ３', '7', '7', '0', '0', '4', '3', '3', '0', '0', '24', '15', 'Ｊ３', '', '京都', 'Ｊ１', '104', '89', '14', '1', '41', '207', '187', '18', '2', '398', '640', 'Ｊ２', '', '京都', 'Ｊ２', '258', '253', '5', '0', '146', '169', '169', '0', '0', '821', '655', 'Ｊ２', '', 'Ｇ大阪', 'Ｊ１', '411', '377', '30', '4', '134', '354', '313', '29', '12', '1549', '1345', 'Ｊ１', '', 'Ｇ大阪', 'Ｊ２', '25', '25', '0', '0', '40', '0', '0', '65', '134', '', '']

['チーム', '大会', '総勝', '90勝', '延期', 'PK勝', '分', '総敗', '90敗', '延敗', 'PK敗', '得点', '失点', '現所属DIV']

行動規範の内容に同意します

回答1件

ベストアンサー

たとえばこういうことですか？
それとも、data__columnsと何か紐付けたいのでしょうか。

python3
1import requests
2from bs4 import BeautifulSoup
3import pandas as pd
4import time
5import os
6url='https://data.j-league.or.jp/SFTD01/search?team_flag=0&competition_frames=1&competition_frames=2&competition_frames=3&competition_year_from=1993&competition_year_to=2020&HomeAwayId=0&competition_frames_name=%EF%BC%AA%EF%BC%91%E3%83%AA%E3%83%BC%E3%82%B0%2C%EF%BC%AA%EF%BC%92%E3%83%AA%E3%83%BC%E3%82%B0%2C%EF%BC%AA%EF%BC%93%E3%83%AA%E3%83%BC%E3%82%B0&competition_year_from_name=1993%E5%B9%B4&competition_year_to_name=2020%E5%B9%B4&teams_name='
7r=requests.get(url)
8r.raise_for_status()
9r.encoding = r.apparent_encoding
10html=r.text
11
12soup=BeautifulSoup(html,'html.parser')
13
14data=soup.find(class_='table-base00 search-table')
15all_data=data.findAll('tr')
16
17info=[]
18#infoの情報を取得
19data_1=all_data[0].find_all('th')
20#infoにデータを格納
21for i in data_1:
22    info.append(i.get_text())
23teams = list()
24for i in range(1,len(all_data)):
25    team_info=[]
26    data_2=all_data[i].find_all('td')
27    for j in data_2:
28        team_info.append(j.get_text())
29    teams.append(team_info)
30data__columns=[info]
31print(teams)
32# [['札幌', 'Ｊ１', '79', '76', '3', '0', '43', '159', '140', '15', '4', '355', '524', 'Ｊ１', ''], ['札幌', 'Ｊ２', '257', '251', '6', '0', '150', '190', '188', '2', '0', '789', '644', 'Ｊ１', ''], ...]

データフレームにしたい場合は、最後にこのように

python3
1data_df = pd.DataFrame(teams, columns=data__columns)
2print(data_df)
3"""
4    チーム  大会   総勝  90勝 延勝 PK勝    分   総敗  90敗  延敗 PK敗   得点   失点 現所属DIV   
50      札幌  Ｊ１   79   76  3   0   43  159  140  15   4  355  524     Ｊ１   
61      札幌  Ｊ２  257  251  6   0  150  190  188   2   0  789  644     Ｊ１   
72      八戸  Ｊ３   18   18  0   0    9   21   21   0   0   65   64     Ｊ３   
83      岩手  Ｊ３   56   56  0   0   51  105  105   0   0  246  330     Ｊ３   
94      仙台  Ｊ１  135  133  2   0  104  176  171   5   0  509  591     Ｊ１   
10..    ...  ..  ...  ... ..  ..  ...  ...  ...  ..  ..  ...  ...    ... ..
1198     琉球  Ｊ３   65   65  0   0   44   54   54   0   0  236  223     Ｊ２   
1299   Ｆ東23  Ｊ３   40   40  0   0   31   57   57   0   0  149  175          
13100  Ｇ大23  Ｊ３   43   43  0   0   32   68   68   0   0  202  233     Ｊ３   
14101  Ｃ大23  Ｊ３   46   46  0   0   34   63   63   0   0  184  209     Ｊ３   
15102  J-22  Ｊ３   16   16  0   0   13   40   40   0   0   65  134          
16
17"""