scipy nnls RuntimeError: too many iterations を解決したいです。

Question

前提・実現したいこと

Processingからサーバーに値を渡して、Pythonで記述した機械学習のプログラムで計算した後、Processingに値を返すものを作成しています。

それぞれのパーツを書いて、つなげて実行しようとした時にエラーになりました。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "/Users/username/miniforge3/envs/myenv/lib/python3.9/site-packages/flask/app.py", line 2070, in wsgi_app
    response = self.full_dispatch_request()
  File "/Users/username/miniforge3/envs/myenv/lib/python3.9/site-packages/flask/app.py", line 1515, in full_dispatch_request
    rv = self.handle_user_exception(e)
  File "/Users/username/miniforge3/envs/myenv/lib/python3.9/site-packages/flask/app.py", line 1513, in full_dispatch_request
    rv = self.dispatch_request()
  File "/Users/username/miniforge3/envs/myenv/lib/python3.9/site-packages/flask/app.py", line 1499, in dispatch_request
    return self.ensure_sync(self.view_functions[rule.endpoint])(**req.view_args)
  File "/Users/username/flask/flask-mini-api/app.py", line 13, in api
    food_list = calc(food_id_list)
  File "/Users/username/flask/flask-mini-api/test.py", line 20, in calc
    abc = pd.DataFrame(nnls(A,B)[0]*100)
  File "/Users/username/miniforge3/envs/myenv/lib/python3.9/site-packages/scipy/optimize/_nnls.py", line 82, in nnls
    raise RuntimeError("too many iterations")
**RuntimeError: too many iterations**

該当のソースコード

flask_mini

import http.requests.*;

String URL = "http://127.0.0.1:3000/api?food_id=130,355,529,630,706,995,1758,1922,1943,1966,2296";

void setup() {
  GetRequest get = new GetRequest(URL);
  get.send();
  JSONObject result = parseJSONObject(get.getContent());
  println(result);
}

void draw() {
}

app.py

from flask import Flask, request, jsonify
from test import calc

app = Flask(__name__)

@app.route("/api", methods=["GET"])
def api():
  req = request.args
  food_id_param = req.get("food_id")
  
  food_id_list = food_id_param.split(',')

  food_list = calc(food_id_list)
  return jsonify({"food": food_list})

if __name__ == "__main__":
  app.run(port=3000)

test.py

import pandas as pd
import numpy as np
from scipy.optimize import nnls

def calc(food_id_list):
  df = pd.read_csv('nutrients_data_shaped.csv')
  data=df[['NO','food','ENERC_KCAL','PROT-','FAT-','CHOAVLDF-','K','CA','MG','P','FE','ZN','CU','VITA_RAE','VITD','TOCPHA','VITK ','THIA','RIBF','NE','VITB6A','VITB12','FOL','PANTAC','VITC','FIB-','NACL_EQ']]
 
  data2= data[data['NO'].isin(food_id_list)]
  
  data2matrix=np.delete(data2.to_numpy(),[0,1],1).astype('float').T

  A=data2matrix
  B=np.array([2650,65,59,384,2500,800,340,1000,7.5,11,0.9,850,8.5,6.0,150,1.4,1.6,15,1.4,2.4,240,5,100,24,5]) 

  data2_food_name = pd.DataFrame(data2['food'])

  data2_food_name.reset_index(drop=True, inplace=True)
  
  abc = pd.DataFrame(nnls(A,B)[0]*100)
  data2_need_nutrients_amount = pd.concat([data2_food_name, abc], axis=1)
  data2_need_nutrients_amount = data2_need_nutrients_amount.rename(columns={0:'必要な量(g)'})

  return_arr = []
  for data in data2_need_nutrients_amount.values:
    return_arr.append({
      "food_name": data[0],
      "weight": data[1]
    })
  return return_arr 

試したこと

test.pyのnnlsのところが問題になっていると考え、AとBの要素を減らして実行しましたが、同じ結果になりました。また、nnlsの中身をみて、modeが1にならないといけないのかなと思いましたが、jupyter notebookでは動いています。

nnls.py

from __future__ import division, print_function, absolute_import

from . import _nnls
from numpy import asarray_chkfinite, zeros, double

__all__ = ['nnls']


def nnls(A, b):
    """
    Solve ``argmin_x || Ax - b ||_2`` for ``x>=0``. This is a wrapper
    for a FORTAN non-negative least squares solver.

    Parameters
    ----------
    A : ndarray
        Matrix ``A`` as shown above.
    b : ndarray
        Right-hand side vector.

    Returns
    -------
    x : ndarray
        Solution vector.
    rnorm : float
        The residual, ``|| Ax-b ||_2``.

    Notes
    -----
    The FORTRAN code was published in the book below. The algorithm
    is an active set method. It solves the KKT (Karush-Kuhn-Tucker)
    conditions for the non-negative least squares problem.

    References
    ----------
    Lawson C., Hanson R.J., (1987) Solving Least Squares Problems, SIAM

    """

    A, b = map(asarray_chkfinite, (A, b))

    if len(A.shape) != 2:
        raise ValueError("expected matrix")
    if len(b.shape) != 1:
        raise ValueError("expected vector")

    m, n = A.shape

    if m != b.shape[0]:
        raise ValueError("incompatible dimensions")

    w = zeros((n,), dtype=double)
    zz = zeros((m,), dtype=double)
    index = zeros((n,), dtype=int)

    x, rnorm, mode = _nnls.nnls(A, m, n, b, w, zz, index)
    if mode != 1:
        raise RuntimeError("too many iterations")

    return x, rnorm

補足情報（ツールのバージョンなど）

M1 mac miniforge3
Processing 3.5.4
Python 3.9.1
flask 2.0.1
scipy 1.7.0
numpy 1.21.0
pandas 1.3.0

Answer 1

回答がつかないみたいなので、回答じゃないですが、一緒にデバッグな感じで回答を書きます。

Flask側しか知らないのでそちらの観点から。

とりあえずエラーメッセージを見ると、

  File "/Users/username/miniforge3/envs/myenv/lib/python3.9/site-packages/scipy/optimize/_nnls.py", line 82, in nnls
    raise RuntimeError("too many iterations")

とあるので、_nnls.pyの82行目でraise RuntimeError()が発生しているようです。
これを呼び出しているところに問題がないか確認してください。

これについてはjupyter notebookでは動いているということなので、問題無いのかもしれません。
「かもしれない」なので、本当に動くのか確認が必要です。
Web(Flask)から呼び出すのではなく、最後に呼び出されるところをjupyter notebookと同じように実行してみて動くのか確認してみましょう。
jupyter notebookではFlaskは動いていないと思うので、flask_miniからtest.pyを直接呼び出す形で動くか確認してみてください。

これで動いた場合、呼び出し方が悪いのかもしれません。
food_list = calc(food_id_list)ではgetパラメータをsplitしてlistにして渡していますが、デバッガで見ると、渡している値は以下です。

  # food_id_listのデバッグ情報
  food_id_list = {list: 11} ['130', '355', '529', '630', '706', '995', '1758', '1922', '1943', '1966', '2296']
    00 = {str} '130'
    01 = {str} '355'
    02 = {str} '529'
    03 = {str} '630'
    04 = {str} '706'
    05 = {str} '995'
    06 = {str} '1758'
    07 = {str} '1922'
    08 = {str} '1943'
    09 = {str} '1966'
    10 = {str} '2296'
    __len__ = {int} 11

list:11は想定の型ですか？
listに含まれる値は全てstr型ですが、想定通りでしょうか？
"も'もついていない数字がカンマで区切られているのでintが欲しかったり、実はfloatが欲しかったりしないでしょうか？
nutrients_data_shaped.csvの中身が分からないので、どういうのが想定されているのか分かりませんが、Webの値の入力が想定と異なるのはありがちなので確認してみてください。

デバッガについて(2021/07/12 09:38追記)

私が使ったのはPyCharm Professionalです。

PyCharm Professionalは有料ですが、無料のPyCharm Communityというのもあります。
以下からDL可能です。

https://www.jetbrains.com/ja-jp/pycharm/

PyCharm入門が以下にありますので参照ください。
https://pleiades.io/help/pycharm/quick-start-guide.html#meet

PyCharmは何もしないと英語でメニュー等が表示されますが、以下手順で日本語に変更できます。

1. 左上メニューの[file]
2. Settings(Ctrl + Alt + Sでも可)
3. plugin
4. 検索部分で「Japanese」と入力
5. 表示された Japanese Language Pack をインストール。
6. PyCharmを再起動

K2Tさんの場合は、以下の手順でデバッグ可能と思います。

1. 今作成中のプログラムが含まれるディレクトリをPyCharmで開き(ファイル -> 開く)
2. 【Flaskのデバッグ環境構築】
   右上にある緑右向き三角(再生ボタンみたいなやつ)の左にあるプルダウンメニューから「実行構成の編集」を選択
3. Flaskの実行構成を作成(名前(N):は[app]とか[flask]とかわかりやすいものに。)
   https://www.nakamuri.info/mw/index.php/PyCharm_CE%E3%81%8B%E3%82%89Flask%E3%82%A2%E3%83%97%E3%83%AA%E3%82%92%E8%B5%B7%E5%8B%95%E3%81%99%E3%82%8B
4. 再生ボタンみたいなやつの右にある虫マークをクリック

これでFlaskが起動するはずです。
虫ボタンを押すと、下に「デバッグ」ウィンドウが表示され、最終的に以下のような画面が表示されます。

 * Running on http://0.0.0.0:5000/ (Press CTRL+C to quit)
                     ⇒これは127.0.0.1とかかも

止めたい行の行番号とコードの間をクリックすると赤い●が追加されますので、実行されればそこで止まります。

他にPythonのプログラムがあれば、似たような手順でデバッグ可能になります。
なお、PyCharmは新規プロジェクト作成時に[venv]というフォルダを勝手に作成します。
python3 -m venv venvと実行した時と同じものです。

下にある「ターミナル」や「Python コンソール」ではこれが勝手に有効になった状態で実行されるので注意してください。
この仮想環境の追加は、「ファイル->設定->プロジェクト：プロジェクト名->Python インタープリター->右上の歯車マークをクリック->追加]から追加可能です。
変更は[Python インタープリター]画面の[Python インタープリター：」右にあるプルダウンメニューから変更してください。

また、実行構成で使用されるPython インタープリターは、「実行構成の編集」画面を表示して右側の「環境->Python インタープリター(P):」から変更してください。

パッケージがない等と表示される場合は、このインタープリター指定が正しく無いなどの問題が考えられます。
使っている仮想環境と正しく把握してインストールしましょう。

Comments

[K2T]

ご回答ありがとうございます。ご指摘の通り、listの型がstr型で、想定していたint型と異なっていたため、動かなかったようです。

```Python
from flask import Flask, request, jsonify

from nnls import calc

app = Flask(__name__)

@app.route("/api", methods=["GET"])
def api():
req = request.args
food_id_param = req.get("food_id")

food_id_list_str = food_id_param.split(',')

food_id_list = []
for food_id_str in food_id_list_str:
food_id_list.append(int(food_id_str))

result = calc(food_id_list)

return jsonify({"result": result})

if __name__ == "__main__":
app.run()
```

のようにすると動きました。ありがとうございます。

追伸 :
"food_list = calc(food_id_list)ではgetパラメータをsplitしてlistにして渡していますが、デバッガで見ると、渡している値は以下です。"

とありますが、デバッガはどのように使うのでしょうか。

デバッガが、コンピュータープログラムのバグを探して修正するプログラムで、pdbモジュールというものがあることまでは調べました。読むべき記事のURLなど、教えていただけると幸いです。

[FiroProchainezo]

遅くなりましたが、デバッガについての記述を追加しました。
確認ください。

何か不明点があれば質問してください。

[K2T]

お忙しい中、教えていただきありがとうございます。FiroProchainezoさんの分かりやすい説明のおかげでデバッガ(PyCharm Community)を使うことができました。ありがとうございます。