Herokuにおいてmatplotlibで作成した画像が表示できない

Question

問題点

flask,herokuの勉強でFlask入門を少し変えたものをherokuにデプロイしたのですが
フォームから入力されたものをmatplotlibでグラフ化し、保存したパスをデータベースに格納、格納されたパスを読み出しページを返すところでエラーが出ています。

エラー内容

2019-10-07T08:43:59.698002+00:00 app[web.1]: [2019-10-07 08:43:59,691] ERROR in app: Exception on /analysis [POST]
2019-10-07T08:43:59.698018+00:00 app[web.1]: Traceback (most recent call last):
2019-10-07T08:43:59.698021+00:00 app[web.1]: File "/app/.heroku/python/lib/python3.6/site-packages/flask/app.py", line 2446, in wsgi_app
2019-10-07T08:43:59.698023+00:00 app[web.1]: response = self.full_dispatch_request()
2019-10-07T08:43:59.698025+00:00 app[web.1]: File "/app/.heroku/python/lib/python3.6/site-packages/flask/app.py", line 1951, in full_dispatch_request
2019-10-07T08:43:59.698027+00:00 app[web.1]: rv = self.handle_user_exception(e)
2019-10-07T08:43:59.698029+00:00 app[web.1]: File "/app/.heroku/python/lib/python3.6/site-packages/flask/app.py", line 1820, in handle_user_exception
2019-10-07T08:43:59.69803+00:00 app[web.1]: reraise(exc_type, exc_value, tb)
2019-10-07T08:43:59.698032+00:00 app[web.1]: File "/app/.heroku/python/lib/python3.6/site-packages/flask/_compat.py", line 39, in reraise
2019-10-07T08:43:59.698034+00:00 app[web.1]: raise value
2019-10-07T08:43:59.698036+00:00 app[web.1]: File "/app/.heroku/python/lib/python3.6/site-packages/flask/app.py", line 1949, in full_dispatch_request
2019-10-07T08:43:59.698037+00:00 app[web.1]: rv = self.dispatch_request()
2019-10-07T08:43:59.698039+00:00 app[web.1]: File "/app/.heroku/python/lib/python3.6/site-packages/flask/app.py", line 1935, in dispatch_request
2019-10-07T08:43:59.698041+00:00 app[web.1]: return self.view_functions[rule.endpoint](**req.view_args)
2019-10-07T08:43:59.698043+00:00 app[web.1]: File "/app/run.py", line 70, in analysis
2019-10-07T08:43:59.698045+00:00 app[web.1]: img = models.create_scatter(title, data, feature_class)
2019-10-07T08:43:59.698046+00:00 app[web.1]: File "/app/models.py", line 52, in create_scatter
2019-10-07T08:43:59.698048+00:00 app[web.1]: plt.savefig(save_path)
2019-10-07T08:43:59.69805+00:00 app[web.1]: File "/app/.heroku/python/lib/python3.6/site-packages/matplotlib/pyplot.py", line 722, in savefig
2019-10-07T08:43:59.698052+00:00 app[web.1]: res = fig.savefig(*args, **kwargs)
2019-10-07T08:43:59.698053+00:00 app[web.1]: File "/app/.heroku/python/lib/python3.6/site-packages/matplotlib/figure.py", line 2180, in savefig
2019-10-07T08:43:59.698055+00:00 app[web.1]: self.canvas.print_figure(fname, **kwargs)
2019-10-07T08:43:59.698057+00:00 app[web.1]: File "/app/.heroku/python/lib/python3.6/site-packages/matplotlib/backend_bases.py", line 2082, in print_figure
2019-10-07T08:43:59.698059+00:00 app[web.1]: **kwargs)
2019-10-07T08:43:59.69806+00:00 app[web.1]: File "/app/.heroku/python/lib/python3.6/site-packages/matplotlib/backends/backend_agg.py", line 527, in print_png

該当コード

@app.route('/analysis', methods=['POST'])
def analysis():
    """ 分析実行処理 """

    title = request.form['title']
    data = request.form['data']
    feature_class = request.form['class']

    img = models.create_scatter(title, data, feature_class)

    con = get_db()

    pk = models.insert(con, title, data, feature_class, img)
    flash('登録処理が完了しました。')
    return redirect(url_for('view', pk=pk))

"""
ビジネスロジックモジュール
"""
import json
from matplotlib.font_manager import FontProperties
import os
import time
import pandas as pd
from pandas.plotting import scatter_matrix
import matplotlib.pyplot as plt
import matplotlib
from flask import Flask

app = Flask(__name__)

matplotlib.use('Agg')

font_path = "static/TakaoPGothic.ttf"
font_prop = FontProperties(fname=font_path)


def create_scatter(title, seq, feature_class):

    VECTOR_DICT = {"a": [1, 1], "t": [-1, 1], "g": [-1, -1], "c": [1, -1]}
    triplet = ""
    BASE_PAIR = set(["a", "t", "g", "c"])
    x_coodinate = [0]
    y_coodinate = [0]

    with open("./static/self_information.json", "r") as jsonfile:
        json_dict = json.load(jsonfile)

    weight_dict = json_dict[feature_class]

    for alphabet in seq.lower():
        if alphabet not in BASE_PAIR:
            continue
        triplet += alphabet
        if len(triplet) < 3:
            x_coodinate.append(x_coodinate[-1] + VECTOR_DICT[alphabet][0])
            y_coodinate.append(y_coodinate[-1] + VECTOR_DICT[alphabet][1])
        else:
            triplet = triplet[-3:]
            x_coodinate.append(
                x_coodinate[-1] + VECTOR_DICT[alphabet][0] * weight_dict[triplet])

            y_coodinate.append(
                y_coodinate[-1] + VECTOR_DICT[alphabet][1] * weight_dict[triplet])

    plt.title(title, fontproperties=font_prop)
    plt.plot(x_coodinate, y_coodinate)

    filename = time.strftime('%Y%m%d%H%M%S') + ".png"
    save_path = os.path.join(app.root_path, "static", "result", filename)
    url = "result/" + filename
    plt.savefig(save_path)
    plt.close()

    return url

環境

Click==7.0
cycler==0.10.0
Flask==1.1.1
gunicorn==19.9.0
itsdangerous==1.1.0
Jinja2==2.10.1
kiwisolver==1.1.0
MarkupSafe==1.1.1
matplotlib==3.1.1
numpy==1.17.2
pandas==0.25.1
pyparsing==2.4.2
python-dateutil==2.8.0
pytz==2019.2
scipy==1.3.1
six==1.12.0
Werkzeug==0.16.0

やったこと

• パスをapp.root_path基準とした
• ローカルサーバでの確認python3 run.pyにて正常に動くことを確認

よろしくお願いします。

Answer 1

Heroku の Dyno は、1日1回リブートされて、再デプロイされるので、リポジトリに保存されていない　プログラムで作成されたファイルは、消えてなくなります。

ファイルが削除されるのをさけるには、ファイルの保存先に AWS S3 等の外部サービスを利用する必要があります。

公式ドキュメントの
Dynos and the Dyno Manager に

Dynos are also restarted (cycled) at least once per day to help maintain the health of applications running on Heroku. Any changes to the local filesystem will be deleted.

(意訳) Dynosは1日に1回再起動されます。 ローカルファイルシステムへの変更はすべて削除されます。

と記載されています。

Comments

[mochmoch]

回答ありがとうございます
[こちら](https://qiita.com/kiyokiyo_kzsby/items/f8aa0bf68007e18d6882)など24時間でデータベースが初期化される問題について把握していたのですが、データ保持は今回はあまり気にしていないのでsqlite3を使用していました。
エラーを見る限り、matplotlibの`savefig`がうまく行っていないのですがherokuではファイルへの書き出しがそもそもできないと考えるべきなのでしょうか？

Answer 2

githubにプロットしたファイルを入れておく空ディレクトリを追加していなかったのが問題かもしれません(heroku run bashでmkdirとかすればいいんだと思ってました)

gitで空ディレクトリを追加する方法は以下

touch <追加したい空ディレクトリ>/.gitkeep
git add <追加したい空ディレクトリ>/.gitkeep
git commit -m "add empty dir"
git push heroku master

.gitkeepがいいのか.gitignoreがいいのかはよくわかりません