質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

データマイニング

データマイニングは、購買履歴やクレジットカードの利用履歴、電話の通話履歴など企業にある大量のデータを解析して、その中に隠れたパターンやルールを探し出す技術です。DMと略されることもあります。

Q&A

1回答

714閲覧

【scikit-learn】Pipelineを用いて作成したモデルの再現について

dal

総合スコア38

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

データマイニング

データマイニングは、購買履歴やクレジットカードの利用履歴、電話の通話履歴など企業にある大量のデータを解析して、その中に隠れたパターンやルールを探し出す技術です。DMと略されることもあります。

1グッド

0クリップ

投稿2019/11/19 02:33

編集2019/11/19 03:00

解決したいこと

以下の2つの学習モデルを等しくしたいと思っています。
前者はPipelineを用いて作成したモデル、後者は、前者のモデルを参考に自力で作成したモデルになります。
比較した際、roc_auc_scorepredict_probaは等しくなるのですが、accuracy_scoreの値だけがなぜか異なってしまいます...。どのようにすれば等しくできるでしょうか?
詳しい方が居りましたら、ご教授頂きたいです。

試したコード

Pipelineを使用したモデル

python

1(一部省略) 2 3 4# パイプライン 5pipe = Pipeline([ 6 ('scale', MinMaxScaler()), 7 ('clf', LogisticRegression()) 8 ]) 9 10param_dict = { 11 "clf__C": [0.001 * x for x in range(1, 1001)], 12} 13 14grid_search = GridSearchCV(pipe, param_dict, cv=10, return_train_score=False, scoring="roc_auc") 15grid_search.fit(train_X, train_y) 16 17print('Best parameters:', grid_search.best_params_) 18print('Best auc on validation set:', grid_search.best_score_) 19 20pred = grid_search.predict(test_X) 21print('Test set accuracy with best parameters: {}'.format(accuracy_score(test_y, pred))) 22print('Test set AUC with best parameters: {}'.format(roc_auc_score(test_y, pred)))

出力

Best parameters: {'clf__C': 0.005} Best auc on validation set: 0.700801749271137 Test set accuracy with best parameters: 0.7547547547547547 Test set AUC with best parameters: 0.7017017017017015

上記の出力を参考に自力で作成したモデル

python

1scalar = MinMaxScaler().fit(train_X) 2train_X_scaled = scalar.transform(train_X) 3test_X_scaled = scalar.transform(test_X) 4 5lr = LogisticRegression(C=0.005) 6lr.fit(train_X_scaled, train_y) 7pred = lr.predict(test_X_scaled) 8print('Test set accuracy with best parameters: {}'.format(accuracy_score(test_y, pred))) 9print('Test set AUC with best parameters: {}'.format(roc_auc_score(test_y, pred)))

出力

Test set accuracy with best parameters: 0.71875 Test set AUC with best parameters: 0.7017017017017015

このように、roc_auc_scoreは等しくなるのですが、accuracy_scoreが一致しません。
AUCが偶然等しくなった可能性を考え、両者のpredict_probaを確認したところ、完全に一致しておりました。
また、データ分割の割合を変えて同じコードを実行しても、やはりaccuracy_scoreのみが一致しません。

退会済みユーザー👍を押しています

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

LogisticRegression()の引数にrandom_stateを与えてみてはいかがでしょうか。
LogisticRegression(random_state=0)のように、両者で同じ値に設定(例えば0)する。
すみません、試してないのでただの勘ですが。

投稿2019/11/19 02:57

takashim

総合スコア124

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

dal

2019/11/19 03:07

ご回答ありがとうございます。 一応試してみましたが、random_stateは関係なさそうです。 精度以外は一致しているので、同じモデルは作成できているように思えるのですが、精度だけが合わないのです...
takashim

2019/11/19 03:57

うーん、、、お力になれず申し訳ないです。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問