Pandasでスクレイピングする時に特定のデータだけエラーが表示される

Question

やりたき事

プロ野球・サッカーのデータが載っているサイトからデータをスクレイピングしたい
※野球：https://baseball-data.com/player/f/
※サッカー：https://www.soccer-money.net/team/team.php?team=FC%E6%9D%B1%E4%BA%AC

開発環境

Jupyter NotebookでPythonを用いて開発しています。

問題

プロ野球のデータは問題なくスクレイピング出来るがサッカーのデータをスクレイピングしようとすると以下の文字コードエラーが表示されました。

エラーの中身を見ると以下の内容でした。

UnicodeEncodeError: 'ascii' codec can't encode characters in position 26-27: ordinal not in range(128)

なぜ同じようなコードを使っていて野球のデータは問題なくスクレイピング出来て
サッカーは上記のエラーが出るのかを知りたいです。

試したこと

スクレイピングする際に文字コードを変えてみましたがエラーが出ました。

元のコードはもっと長いのですが、どこに問題があるか特定しようと絞っていった結果
記載しているコードが残り、なぜかサッカーのデータだけスクレイピングする時にエラーが出るようです。

ソースコード

プロ野球スクレイピング（問題なくスクレイピング出来る）

# ライブラリ読み込み
import pandas as pd
import time

def ScrapingProfileData(url,team,year):
   """プロフィールデータをスクレイピングする関数"""
   data = pd.read_html(url, encoding='utf-8')
   data = data[0]
   data['チーム']=team
   data['年']=year
   data['年俸(推定)'] = data['年俸(推定)'].str.replace('万円','')
   data['年俸(推定)'] = data['年俸(推定)'].str.replace(',','')
   return data

if __name__ == "__main__":
   profile_df=pd.DataFrame()
   #①チーム・年度のリスト生成
   teams =['g','t']
   years=['20', '19']
   #②基礎URL
   base_url = 'https://baseball-data.com/'
   #①②からURL生成した上でスクレイピング
   for team in teams:
       for year in years:
           try:
               url = base_url + year +'/player/'+ str(team) +'/'
               print(url)
               data = ScrapingProfileData(url,team,year)
               data['team_name'] = name
               profile_df = pd.concat([profile_df,data])
               time.sleep(2)
           except:
               print('error')

   #スクレイピング完了通知
   print('scraping_end')

data

サッカースクレイピング（上記のエラーが出る）

##サッカー版シンプルコード

#ライブラリ読み込み
import pandas as pd
import time

#スクレイピング関数
def ScrapingProfileData(url,team,year):
#    """プロフィールデータをスクレイピングする関数"""
   data = pd.read_html(url, encoding='utf-8')
   data = data[1]
   data['チーム']=team
   data['年']=year
   data['年俸'] = data['年俸'].str.replace('万円','')
   data['年俸'] = data['年俸'].str.replace(',','')
   return data

if __name__ == "__main__":
   profile_df=pd.DataFrame()
   #①チーム・年度のリスト生成
   teams = ['FC東京','アビスパ福岡']
   years = ['2020']
   #②基礎URL
   base_url = 'https://www.soccer-money.net/team/past_team.php'
   #①②からURL生成した上でスクレイピング
   for team in teams:
       for year in years:
               try:
                   url = base_url+'?team='+ str(team) +'&year='+str(year)
                   print(url)
                   data = ScrapingProfileData(url,team,year)
                   profile_df = pd.concat([profile_df,data])
                   time.sleep(2)
               except:
                   print('error')

   #スクレイピング完了通知
   print('scraping_end')

data

Comments

[xail2222]

すみません訂正します。読み間違いました。

Answer 1

提示のエラーが出る理由は日本語だからのようですね。

参考

import urllib.parse
<略>
        url = base_url+'?team='+ urllib.parse.quote(team) +'&year='+str(year)

---

(追記)
他のエラーもあったので調べてみました。
pd.read_html()で取得したtableがlistになってしまう
requestの使い方

from bs4 import BeautifulSoup
import requests

def ScrapingProfileData(url,team,year):
    # requestで内容取得
    get_url_info = requests.get(url)        
    # BeautifulSoupでパース
    soup = BeautifulSoup(get_url_info.text, "html.parser")    
    table = soup.find_all("table", id="table_ranking")
    data = pd.read_html(str(table))[0]

これでデータが取れますね。あと、サッカーの方には"年棒"というカラムはなく
"2020年 年俸"というカラムになってるようですね。

野球の方はtableが一つしかないからたまたまできていたようですね。

Comments

[xail2222]

有れ？　文章がちゃんと出てない…
日本語が原因みたいですね。

[Ponta2929]

やってみたのですが、エラーで上手くいかなかったです...
xail2222さんが試したときは↑のやり方で出来そうでしょうか？

[xail2222]

data = pd.read_html(url, encoding='utf-8')は、実行できるようになりました。
別の処理で、別のエラーは出ますけど

[xail2222]

pip install beautifulsoup4
ですね。

[xail2222]

あ。なんだかダメみたいですね。修正しました。
from bs4 import BeautifulSoup
にしました。