python：ロジスティック回帰は線形回帰だけしかできない？

Question

ロジスティック回帰で機械学習をしようとしています。
以下のコードは、線形のロジスティック回帰のimportかと思いますが、非線形の場合はどうすればよいでしょうか？

お詳しい方、ご指導をお願いいたします。

from sklearn.linear_model import LogisticRegression
model= LogisticRegression()

Comments

[hayataka2049]

解きたい問題は回帰ですか？ 分類ですか？

[python_2019]

ご連絡ありがとうございます。
解きたい問題は、分類です。

よろしくお願いいたします。

Answer 1

ロジスティック回帰は線形の分離境界しか作れません。分類モデルとしては線形分離可能な問題にしか使えないことになります。

雑に言えば、線形判別分析の判別式にロジスティック関数を被せて0～1の区間に押し込んだような形のものがロジスティック回帰です（細かい最適化などは変わりますが）。

非線形の分類問題を解くときは、普通は

• 諦めて線形とみなして解く。線形に説明できる分はそれでもいける
• 素直に非線形のモデルを使う。大抵は機械学習っぽくなります（SVM, Random Forestなど）

が良いでしょう。また、

• どうしてもロジスティック回帰がよくて、比較的単純な非線形であれば、変数を多項式変換、対数変換する、交互作用項を入れるなどしてFeature Engineeringの問題として解決する

という手もあります。

参考（拙記事）
ロジスティック回帰が線形分離不可能な分類問題を解けないことの説明 - 静かなる名辞

Comments

[python_2019]

ご指導ありがとうございました。
大変よくわかりました。

記事も参考になりました。

Answer 2

詳しくはないですが。

https://ja.wikipedia.org/wiki/ロジスティック回帰

連結関数としてロジットを使用する一般化線形モデル (GLM) の一種でもある。

あるいは

結果のオッズ（1から確率を引いたもので確率を割った値）の対数は、説明変数 Xi の線形関数としてモデル化される。

---

条件付き確率を求める問題がロジット関数で変形してやることで線形回帰の形に持ち込めるよね、というのがロジスティック回帰なのではないかと。

Comments

[python_2019]

ご指導ありがとうございます。

やはり、ロジスティック回帰は、線形回帰で、非線形ではないということなのですね。
了解いたしました。

[quickquip]

単純パーセプトロンに同型のモデルがありますし、線形ですね。(線形分離可能な問題しか解けない)

[python_2019]

ご回答ありがとうございます。
ロジスティック回帰分析は、線形分離可能な問題しか解けないのですね。
了解いたしました。