flaskでデータフレームをhtmlに表示する方法について

Question

前提・実現したいこと

flaskを使いスクレイピングしたデータフレームをhtmlで選択したデータを表示させたい。

手順
1.野球のデータをpandasを使ってスクレイピングする。
2.htmlで選択肢を配置。
3.pandasで作ったスクレイピング関数をflaskを使って選択したdataframだけ表示させる。

チームと年代を選択して決定を押してもエラーが出るので直したい。

発生している問題・エラーメッセージ

(base) hatea@hateanoMacBook-Pro baseball data % source /Users/hatea/opt/anaconda3/bin/activate
(base) hatea@hateanoMacBook-Pro baseball data % conda activate base
(base) hatea@hateanoMacBook-Pro baseball data % /Users/hatea/opt/anaconda3/bin/python "/Users/hatea/Desktop/baseball data/flask/app.py"
 * Serving Flask app "app" (lazy loading)
 * Environment: production
   WARNING: This is a development server. Do not use it in a production deployment.
   Use a production WSGI server instead.
 * Debug mode: on
 * Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)
 * Restarting with fsevents reloader
 * Debugger is active!
 * Debugger PIN: 653-563-779
127.0.0.1 - - [22/Jun/2020 21:42:23] "GET / HTTP/1.1" 200 -
 m
127.0.0.1 - - [22/Jun/2020 21:42:28] "POST / HTTP/1.1" 500 -
Traceback (most recent call last):
  File "/Users/hatea/opt/anaconda3/lib/python3.7/site-packages/flask/app.py", line 2463, in __call__
    return self.wsgi_app(environ, start_response)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/site-packages/flask/app.py", line 2449, in wsgi_app
    response = self.handle_exception(e)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/site-packages/flask/app.py", line 1866, in handle_exception
    reraise(exc_type, exc_value, tb)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/site-packages/flask/_compat.py", line 39, in reraise
    raise value
  File "/Users/hatea/opt/anaconda3/lib/python3.7/site-packages/flask/app.py", line 2446, in wsgi_app
    response = self.full_dispatch_request()
  File "/Users/hatea/opt/anaconda3/lib/python3.7/site-packages/flask/app.py", line 1951, in full_dispatch_request
    rv = self.handle_user_exception(e)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/site-packages/flask/app.py", line 1820, in handle_user_exception
    reraise(exc_type, exc_value, tb)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/site-packages/flask/_compat.py", line 39, in reraise
    raise value
  File "/Users/hatea/opt/anaconda3/lib/python3.7/site-packages/flask/app.py", line 1949, in full_dispatch_request
    rv = self.dispatch_request()
  File "/Users/hatea/opt/anaconda3/lib/python3.7/site-packages/flask/app.py", line 1935, in dispatch_request
    return self.view_functions[rule.endpoint](**req.view_args)
  File "/Users/hatea/Desktop/baseball data/flask/app.py", line 15, in index
    players = base_ball.data_load(year,team)
  File "/Users/hatea/Desktop/baseball data/flask/base_ball.py", line 14, in data_load
    dfs = pd.io.html.read_html(BASE_URL)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/site-packages/pandas/io/html.py", line 1100, in read_html
    displayed_only=displayed_only,
  File "/Users/hatea/opt/anaconda3/lib/python3.7/site-packages/pandas/io/html.py", line 895, in _parse
    tables = p.parse_tables()
  File "/Users/hatea/opt/anaconda3/lib/python3.7/site-packages/pandas/io/html.py", line 213, in parse_tables
    tables = self._parse_tables(self._build_doc(), self.match, self.attrs)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/site-packages/pandas/io/html.py", line 733, in _build_doc
    raise e
  File "/Users/hatea/opt/anaconda3/lib/python3.7/site-packages/pandas/io/html.py", line 714, in _build_doc
    with urlopen(self.io) as f:
  File "/Users/hatea/opt/anaconda3/lib/python3.7/site-packages/pandas/io/common.py", line 141, in urlopen
    return urllib.request.urlopen(*args, **kwargs)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/urllib/request.py", line 222, in urlopen
    return opener.open(url, data, timeout)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/urllib/request.py", line 531, in open
    response = meth(req, response)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/urllib/request.py", line 641, in http_response
    'http', request, response, code, msg, hdrs)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/urllib/request.py", line 563, in error
    result = self._call_chain(*args)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/urllib/request.py", line 503, in _call_chain
    result = func(*args)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/urllib/request.py", line 755, in http_error_302
    return self.parent.open(new, timeout=req.timeout)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/urllib/request.py", line 531, in open
    response = meth(req, response)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/urllib/request.py", line 641, in http_response
    'http', request, response, code, msg, hdrs)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/urllib/request.py", line 569, in error
    return self._call_chain(*args)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/urllib/request.py", line 503, in _call_chain
    result = func(*args)
  File "/Users/hatea/opt/anaconda3/lib/python3.7/urllib/request.py", line 649, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 404: Not Found
127.0.0.1 - - [22/Jun/2020 21:42:28] "GET /?__debugger__=yes&cmd=resource&f=style.css HTTP/1.1" 200 -
127.0.0.1 - - [22/Jun/2020 21:42:28] "GET /?__debugger__=yes&cmd=resource&f=jquery.js HTTP/1.1" 200 -
127.0.0.1 - - [22/Jun/2020 21:42:28] "GET /?__debugger__=yes&cmd=resource&f=debugger.js HTTP/1.1" 200 -
127.0.0.1 - - [22/Jun/2020 21:42:28] "GET /?__debugger__=yes&cmd=resource&f=ubuntu.ttf HTTP/1.1" 200 -
127.0.0.1 - - [22/Jun/2020 21:42:28] "GET /?__debugger__=yes&cmd=resource&f=console.png HTTP/1.1" 200 -

該当のソースコード

base_ball.py
from IPython import get_ipython
import random
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import sys
#野手データ取得
def data_load(year,team):
    BASE_URL = ("http://npb.jp/bis/{}/stats/idb1_{}.html".format(year,team))
    dfs = pd.io.html.read_html(BASE_URL)
#カラムの再設定
    df = dfs[0][1:]; df.columns=dfs[0].loc[0,:]
    new_header = df.iloc[0]
    df = df[1:]
    df.columns = new_header
    df2 = df.rename(columns=lambda s: str(s).replace(" ",""))
    df_i = df2.rename(columns=lambda s: str(s).replace("　",""))
    del df_i['nan']
    df3 = df_i.set_index('選手')
    return df3

app.py
import os
from flask import Flask, render_template,request
import base_ball
app = Flask(__name__)

@app.route('/',methods=["GET","POST"])
def index():
	if request.method == 'POST':
		year = request.form.get('year','')
		team = request.form.get('team','')
		print(year,team)
		if year == '2019' and team == 'bs':
			players = base_ball.data_load(year,'b')
		else:
			players = base_ball.data_load(year,team)
		if int(year) >= 2011 and team == 'db':
			players = base_ball.data_load(year,'yb')
		else:
			players = base_ball.data_load(year,team)
		players =  base_ball.data_load(year,team)
		players_values = players.values.tolist()
		players_columns = players.columns.tolist()
		players_index = players.index.tolist()
		return render_template('index.html', \
			players_values = players_values, \
			players_columns = players_columns, \
			players_index = players_index)
	return render_template('index.html')

if __name__ == '__main__':
	app.run(debug=True, host='127.0.0.1',port=5000,threaded=True)

index.html
  <fieldset>
    <legend>自チームを選ぼう</legend>
    <form method="post" action="/">
      <label for="year">年代を選択</label>
      <select id="year">
        <option name="year" value="2005">2005年</option>
        <option name="year" value="2006">2006年</option>
        <option name="year" value="2007">2007年</option>
        <option name="year" value="2008">2008年</option>
        <option name="year" value="2009">2009年</option>
        <option name="year" value="2010">2010年</option>
        <option name="year" value="2011">2011年</option>
        <option name="year" value="2012">2012年</option>
        <option name="year" value="2013">2013年</option>
        <option name="year" value="2014">2014年</option>
        <option name="year" value="2015">2015年</option>
        <option name="year" value="2016">2016年</option>
        <option name="year" value="2017">2017年</option>
        <option name="year" value="2018">2018年</option>
        <option selected name="year" value="2019">2019年</option>
      </select>
      <label><input type="radio" name="team" value="h">ソフトバンク</label>
      <label><input type="radio" name="team" value="l">西武</label>
      <label><input type="radio" name="team" value="e">楽天</label>
      <label><input type="radio" name="team" value="m">ロッテ</label>
      <label><input type="radio" name="team" value="f">日本ハム</label>
      <label><input type="radio" name="team" value="bs">オリックス</label>
      <label><input type="radio" name="team" value="c">広島</label>
      <label><input type="radio" name="team" value="db">横浜</label>
      <label><input type="radio" name="team" value="g">巨人</label>
      <label><input type="radio" name="team" value="t">阪神</label>
      <label><input type="radio" name="team" value="s">ヤクルト</label>
      <label><input type="radio" name="team" value="d">中日</label>
    </fieldset>
    <div><input type="submit" value="決定"></div>
    </form>
    <table>
      <thead>
        <tr>{%- for i in players_columns %}<th>{{ i|e }}</th>{%- endfor %}</tr>
      </thead>
      <tbody>
        {%- for i in players_values %}
        <tr><th>{{ players_index[loop.index0]|e }}</th>{% for j in i %}<td>{{ j|e }}</td>{% endfor %}</tr>
        {%- endfor %}
      </tbody>
    </table>
  <fieldset>

補足情報（FW/ツールのバージョンなど）

python(3.7)

Comments

[kabayan55]

何行目のどの部分で出たエラーなのかを知りたいので、エラー文を全て貼っていただくことは可能でしょうか。
また、手順1〜3のうち、実行ができているのはどこまででしょうか？

オリックスのteamの値が value="bs" となっていますが、2019年からURLが変更になっているようなので、そのあたりの対応が必要なのかもしれません。
https://npb.jp/bis/2019/stats/idb1_b.html

[HaTea]

ご指摘ありがとうございます。
説明不十分で申し訳ございません。
実行出来ているのは手順2までです。
手順３を実行しようと選択肢を選んで決定を押すとurllib.error.HTTPError
urllib.error.HTTPError: HTTP Error 404: Not Foundに飛ばされます。

オリックス2019の条件分岐、エラー全文を追加しました。

[kabayan55]

修正ありがとうございます。条件分岐、1行あとの players = base_ball.data_load(year,team) をelse文に入れておかないと、おそらくオリックス2019年の時にエラーになります。

エラー文、検索してみましたか？これはURLが存在しないときに出るエラーです。以下の質問にも同じエラーに関する質問があるのですが、このページの回答にあるように、printデバッグすると原因がわかると思います。
https://teratail.com/questions/157605

File "/Users/hatea/Desktop/baseball data/flask/app.py", line 11, in index
players = base_ball.data_load(year, team)
とありますので、loadでエラーになっていますね。エラー文を読むとエラーが出ている箇所を特定できて、原因特定も質問もしやすくなるので一通り目を通すことをオススメします。
yearとteamの値が原因だと思うので、どういったものが取れてるか確認するといいと思います。

私が見た限りでは、teamの値しか取れていなそうです。
原因は、おそらくindex.html の方にあります。質問のタグに現時点では「Python」のみ設定されていると思いますが、「html」も設定しておくと、回答を得られるのではないかと思っています。

[HaTea]

わかりました。色々試してみたいと思います。
自分自身プログラミング初心者の為とても勉強になります。
何から何までご丁寧にありがとうございました。