Internal Server Errorの解決方法が知りたい。

Question

初心者です。Python機械学習プログラミング［第2版］で勉強中です。
第9章 9.4.1で映画レビュー分類アプリケーションを作成しました。
ローカルサーバーで起動したらうまくいき、
PythonAnywhereにファイルをアップロードして、webを
１．映画レビュー入力画面
２．フィードバック入力画面
までは表示できるようになったのですが、
フィードバックをクリックすると、
以下のエラー表示の画面になります。

Internal Server Error
The server encountered an internal error and was unable to complete your request. Either the server is overloaded or there is an error in the application.

コードは以下になります。

from flask import Flask, render_template, request
from wtforms import Form, TextAreaField, validators
import pickle
import sqlite3
import os
import numpy as np

from vectorizer import vect

app = Flask(__name__)

cur_dir = os.path.dirname(__file__)
clf = pickle.load(open(os.path.join(cur_dir, 'pkl_objects', 'classifier.pkl'),
                       'rb'))
db = os.path.join(cur_dir, 'reviews.sqlite')

def classify(document):
    label = {0: 'negative', 1: 'positive'}
    X = vect.transform([document])
    y = clf.predict(X)[0]
    proba = clf.predict_proba(X).max()
    return label[y], proba

def train(document, y):
    X = vect.transform([document])
    clf.partial_fit(X, [y])

def sqlite_entry(path, document, y):
    conn = sqlite3.connect(path)
    c = conn.cursor()
    c.execute("INSERT INTO review_db (review, sentiment, date)"\
              " VALUES (?, ?, DATETIME('now'))", (document, y))
    conn.commit()
    conn.close()

class ReviewForm(Form):
    moviereview = TextAreaField('',
                                [validators.DataRequired(),
                                 validators.length(min=15)])
@app.route('/')
def index():
    form = ReviewForm(request.form)
    return render_template('reviewform.html', form=form)

@app.route('/results', methods=['POST'])
def results():
    form = ReviewForm(request.form)
    if request.method == 'POST' and form.validate():
        review = request.form['moviereview']
        y, proba = classify(review)
        return render_template('results.html',
                               content=review,
                               prediction=y,
                               probability=round(proba*100, 2))
    return render_template('reviewform.html', form=form)

@app.route('/thanks', methods=['POST'])
def feedback():
    feedback = request.form['feedback_button']
    review = request.form['review']
    prediction = request.form['prediction']

    inv_label = {'negative': 0, 'positive': 1}
    y = inv_label[prediction]
    if feedback == 'Incorrect':
        y = int(not(y))
    train(review, y)
    sqlite_entry(db, review, y)
    return render_template('thanks.html')

if __name__ == '__main__':
    app.run()

エラーログは以下です。
2018-09-28 14:56:46,612: Exception on /thanks [POST]#012Traceback (most recent call last):#012 File "/usr/lib/python3.5/site-packages/flask/app.py", line 2292, in wsgi_app#012 response = self.full_dispatch_request()#012 File "/usr/lib/python3.5/site-packages/flask/app.py", line 1815, in full_dispatch_request#012 rv = self.handle_user_exception(e)#012 File "/usr/lib/python3.5/site-packages/flask/app.py", line 1718, in handle_user_exception#012 reraise(exc_type, exc_value, tb)#012 File "/usr/lib/python3.5/site-packages/flask/_compat.py", line 35, in reraise#012 raise value#012 File "/usr/lib/python3.5/site-packages/flask/app.py", line 1813, in full_dispatch_request#012 rv = self.dispatch_request()#012 File "/usr/lib/python3.5/site-packages/flask/app.py", line 1799, in dispatch_request#012 return self.view_functionsrule.endpoint#012 File "/home/1976kaca/movieclassifier/app.py", line 67, in feedback#012 train(review, y)#012 File "/home/1976kaca/movieclassifier/app.py", line 26, in train#012 clf.partial_fit(X, [y])#012 File "/usr/lib/python3.5/site-packages/sklearn/linear_model/stochastic_gradient.py", line 540, in partial_fit#012 self._validate_params()#012 File "/usr/lib/python3.5/site-packages/sklearn/linear_model/stochastic_gradient.py", line 89, in _validate_params#012 if self.max_iter is not None and self.max_iter <= 0:#012AttributeError: 'SGDClassifier' object has no attribute 'max_iter'

AttributeErrorを解決するには、どこから手を付けたらいいのかわかりません。
教えていただけないでしょうか？

Comments

[tiitoi]

動かしたコードを追記できますか。

[1976kaca]

ありがとうございます。追記します。

Answer 1

エラーをそのまま解釈すると、sklearn.linear_model.SGDClassifier.partial_fit() オブジェクトは max_iter という attribute を持ってないということになります。

ただ実際持っているはずなので、変ですね。

from sklearn.linear_model import SGDClassifier

clf = SGDClassifier()
print(type(clf))
print(clf.max_iter)

追記

hayataka2049 さんがおっしゃる通りバージョンの問題っぽいですね
最近のバージョンで追加されたみたいです。

max_iter : int, optional
The maximum number of passes over the training data (aka epochs). It only impacts the behavior in the fit method, and not the partial_fit. Defaults to 5. Defaults to 1000 from 0.21, or if tol is not None.

New in version 0.19.

バージョンは以下で確認できます。

import sklearn

print(sklearn.__version__)  # 0.19.2

Comments

[1976kaca]

ありがとうございます。ローカルとpythonanywhereでのバージョン違い確認できました。
ここから先は、pythonanywhereのコンソールで、sklearn古いバージョンのダウンロードをすればいいのでしょうか？

Answer 2

ローカルで学習に使ったsklearnとPythonAnywhereのsklearnのバージョンが一致しているか確認してみてください。

憶測ですが、PythonAnywhereはバージョン0.18系（かそれ以前）なのでは？　か、ローカルが古いか。どちらかはたぶん新しいはずです。

http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.SGDClassifier.html
http://scikit-learn.org/0.18/modules/generated/sklearn.linear_model.SGDClassifier.html#sklearn.linear_model.SGDClassifier

max_iterはversion 0.19からで、内部の属性も同時に追加されているはず。

Comments

[1976kaca]

ありがとうございます。調べてみます^ - ^

[1976kaca]

わかりました！！
ローカルは、0.18.1で古かったです！！

[hayataka2049]

ローカルのsklearnをバージョンが合うようにアップデートして、もし必要になるならコードをバージョンアップに対応するよう編集し、fitし直してpickleのオブジェクトを作り直してpythonanywhereにデプロイ、という手順で動くところまで持っていけると思います

[hayataka2049]

ん、今最新版を入れるとsklearn0.20が入っちゃうのか。サーバ側のバージョンはなんでしょう？　不要なトラブルを避けるために、バージョンきっちり合わせて入れた方が良いかも

[hayataka2049]

サーバ側のダウングレードで済ませるなら、それはそれで一つの選択です・・・

[1976kaca]

なるほど、大掛かりになりそうですね。
サーバー側のダウングレードチャレンジしてみます！

[hayataka2049]

依存がなければできます。

pip install --upgrade sklearn==0.18.1

で入るかな？

[hayataka2049]

pythonanywhereはbashからpip叩けるんですね（細かい方法とかコマンドは環境によると思います）

https://help.pythonanywhere.com/pages/InstallingNewModules/

[1976kaca]

コンソールからpipを打ち込んでもinvalid syntaxとなってしまいます。

[hayataka2049]

pythonインタプリタを立ち上げた状態でやっていませんか？ >>> の右側に打ち込んでいたらその状態です。ctrl-dとかで抜けられるはずなのでbashに戻ってください

[1976kaca]

ありがとうございます。
結果は以下になりました。
Could not find a version that satisfies the requirement sklearn==0.18.1 (from versions: 0.0)

[hayataka2049]

おっと、すみません、私のミスでした
pip install --upgrade scikit-learn==0.18.1

で通ると思います

参考情報：https://github.com/scikit-learn/scikit-learn/issues/8215

[1976kaca]

ありがとうございます。
pip3.6 install --user scikit-learn==0.18.1でインストールできました。
webもローカルと同じ動きになりました！！

[1976kaca]

ちなみに、エラーログでそんな属性はない、という表現があったら、バージョン違いを疑えってことでしょうか？

[hayataka2049]

今回のはそうとう稀なケースなので、普通は他に原因があることが多いと思います。真っ先に疑うような原因ではないです。
ただ、pickleを介したインスタンスのやり取りで属性がないって言われちゃう原因はなんだろう？　って考えながら検索したり、ドキュメントやソースを読んだりして、最近のバージョンで更新されていたので、それでこういう挙動になり得るな、と。

[1976kaca]

ありがとうございます。
参考になります。