Alightgbmの種類 pridict_probaを持たないlightgbm

Question

lightgbmについて質問です。サイキットラーンAPIやなんとかAPIなどいろいろな種類がありますが、

conda listで以下のように表示される
lightgbm 3.1.1 py38hd77b12b_0
lightgbmは何のバージョン？だと考えられますか？おそらくインポートするときはimport lightgbm as lgb
というコードからしてサイキットラーンAPIなどではなく、素？のlightgbmをアナコンダでインストールしたと考えています。

補足 おそらくconda.orgのサイトを見て以下のコードのうちどれかでダウンロードしました。

conda install -c conda-forge lightgbm
conda install -c conda-forge/label/cf201901 lightgbm
conda install -c conda-forge/label/cf202003 lightgbm

補足２

<module 'lightgbm' from 'C:\Users\USER\anaconda3\envs\KASOUKANKYOU\lib\site-packages\lightgbm\__init__.py'>

また、その場合以下のドキュメントにあるように、
https://lightgbm.readthedocs.io/en/latest/pythonapi/lightgbm.LGBMClassifier.html#lightgbm.LGBMClassifier.predict_proba

pridict_probaメソッドを持つはずなのですが、これが使えない理由を知りたいです。

predpro = gbm.predict_proba(test_x)

Traceback (most recent call last):
  File "C:\Users\hoge\anaconda3\envs\hoge\lib\site-packages\optuna\_optimize.py", line 216, in _run_trial  
    value_or_values = func(trial)
  File "c:\Users\hoge\作業ディレクトリ\作業ディレクトリ\作業ディレクトリ\base_lightgbm_optuna_plus_logeer copy.py", line 79, in objective   
    predpro = gbm.predict_proba(test_x)
AttributeError: 'Booster' object has no attribute 'predict_proba'

import matplotlib.pyplot as plt; import numpy as np ;import pandas as pd ;import seaborn as sns; 
pd.set_option('display.max_columns',10000);np.set_printoptions(threshold=90000)

import os, sys, datetime
import logging

from logging import StreamHandler, DEBUG, Formatter, FileHandler, getLogger

import chainer as ch
import optuna

import lightgbm as lgb
def objective(trial):
    PATH = './pickle/'
    data = pd.read_pickle(f'{PATH}prd_tr.pkl')
    test = pd.read_pickle(f'{PATH}prd_te.pkl')
    target = pd.read_pickle(f'{PATH}y.pkl')

    train_x, test_x, train_y, test_y = train_test_split(data, target, test_size=0.25)
    dtrain = lgb.Dataset(train_x, label=train_y)
 
    param = {
        'objective': 'binary',
        'metric': 'auc',
        'lambda_l1': trial.suggest_loguniform('lambda_l1', 1e-8, 10.0),
        'lambda_l2': trial.suggest_loguniform('lambda_l2', 1e-8, 10.0),
        'num_leaves': trial.suggest_int('num_leaves', 2, 256),
        'feature_fraction': trial.suggest_uniform('feature_fraction', 0.4, 1.0),
        'bagging_fraction': trial.suggest_uniform('bagging_fraction', 0.4, 1.0),
        'bagging_freq': trial.suggest_int('bagging_freq', 1, 7),
        'min_child_samples': trial.suggest_int('min_child_samples', 5, 100),
    }
 
    gbm = lgb.train(param, dtrain)
    predpro = gbm.predict_proba(test_x)
    preds = gbm.predict(test_x)
    pred_labels = np.rint(preds)
    accuracy = sklearn.metrics.accuracy_score(test_y, pred_labels)

    rocauc = roc_auc_score(test_y.values.tolist(), predpro)
    pruning_callback = optuna.integration.LightGBMPruningCallback(trial, 'auc')

    logger.info('   accuracy:{}'.format(accuracy))
    return accuracy


if __name__ == "__main__":
    study = optuna.create_study(direction="maximize")
    study.optimize(objective, n_trials=10)

    # n_trials=300がPBの最高スコア

    # study.best_trial #best_valueを出したときの試行内容
    trial = study.best_trial
   
    PATH = './pickle/'
    train = pd.read_pickle(f'{PATH}prd_tr.pkl')
    test = pd.read_pickle(f'{PATH}prd_te.pkl')
    y = pd.read_pickle(f'{PATH}y.pkl')
    
    dtrain = lgb.Dataset(train, label=y)
    gbm = lgb.train(trial.params, dtrain)
    preds = gbm.predict(test)
    pred_labels = np.abs(np.rint(preds))
    pred_labels = pred_labels.astype(np.int)

  

Answer 1

AttributeError: 'Booster' object has no attribute 'predict_proba'

エラーメッセージの意味は"Boosterオブジェクトは属性predict_probaを持っていない"。

---

https://lightgbm.readthedocs.io/en/latest/pythonapi/lightgbm.train.html#lightgbm.train

Return type Booster

trainメソッドの返り値はBoosterオブジェクトで間違いない。

---

https://lightgbm.readthedocs.io/en/latest/pythonapi/lightgbm.Booster.html#lightgbm.Booster

Boosterオブジェクトはpredict_probaメソッドを持っていないということで間違いない。

Comments

[esklia]

前のメソッドの返り血のオブジェクトを代入してそこに紐づくメソッドが使えるというイメージをあまり持っていなかったので大変参考になりました。ありがとうございます。
また、初歩的な質問で恐縮ですが、この場合lightGBMのpythonAPI？というものについて少し詳しく意味をうかがってもよろしいでしょうか。当方、数種のAPIを使用したことがあるのですが、この意味が分かりかねております。特にラッパーと区別して教授いただけないでしょうか（例えばkerasはtensorflowのラッパーだったと記憶しております）。

[quickquip]

Pythonから使うときのインタフェースはこうなってますよ
程度の意味でいいのでは。

[esklia]

承知いたしました。内部構造理解の一助になるかとも思ったのですが、そのように覚えておくことにします。

Answer 2

以下のコードを実行してみてください。
これで表示される結果で、何者かはわかります。

それでわからない場合は、結果を質問に追加してください。

import lightgbm as lgb
print(lgb)

Comments

[esklia]

いつもご回答誠にありがとうございます。
<module 'lightgbm' from 'C:\Users\USER\anaconda3\envs\KASOUKANKYOU\lib\site-packages\lightgbm\__init__.py'>
と表示されました。オブジェクトがモジュールである？ということを表しているようですが、これはどのような意味なのでしょうか？

[esklia]

また、僭越ながら__init__.pyが出力されたことについての意味を合わせてうかがってもよろしいでしょうか？

[esklia]

__init__.pyは初期化の時のみ実行されるファイルで、今回のようなPRINT文の出力がINIT.PYをさすことの意味が分かりかねております。

[esklia]

lightgbm booster　で検索し、おそらくpython APIであると判明しました。以下のサイトより、
https://lightgbm.readthedocs.io/en/latest/pythonapi/lightgbm.Booster.html

pridict_probaメソッドは存在せず、おそらくですがデフォルトで確率しか返さない
(scikit-learnだと大抵ラベル予測のpredictと確率予測のpredict_probaに分かれています)
APIだと考えたのですが、この素人の推測は妥当でしょうか？

[ppaul]

オブジェクトがモジュールである？ということを表しているようですが、これはどのような意味なのでしょうか？

lightgbmというパッケージが読み込まれて、Pythonのモジュールオブジェクトとなりました、という意味です。
ファイルシステム的にいうとパッケージはディレクトリで、モジュールは.pyファイルです。パッケージには通常__init__.pyがあり、そのパッケージをimportすると、__init__.pyが読み込まれます。
詳しいことは以下に書いてありますが、あまりわかりやすくないかもしれません。
https://docs.python.org/ja/3/reference/import.html?highlight=%E3%83%91%E3%83%83%E3%82%B1%E3%83%BC%E3%82%B8#packages

[esklia]

ありがとうございます。モジュールオブジェクトを知らず、import時にinitが読み込まれることもほぼ完全に忘れていたので大変勉強になりました。いただいたドキュメントを読んでもあまり今のレベルでは理解できませんでしたので、地道に都度勉強していこうと思います。