機械学習やDLにおけるXやyの効率的なハンドリング方法

Question

現在の作業

データ解析において、Scikit-learnをよく使いますが、機械学習やディープラーニングだと、X_train、X_testなどとデータを分割したり、StandardScalerで正規化したり、DataFrameをarrayに変換したり、などなど、何かとデータを分割や変換したりすることが多いです。

また、解析の結果を解釈するために、正規化の逆変換をしたり、arrayからDataFrameに戻したりなどもしています。

困りごと

このとき「このarrayの元DataFrameってどれだっけ？」、「正規化したデータを元スケールに戻す、StandardScaler()のインスタンスってどれだっけ？」といった事態が発生します。単純な処理なら問題ないのですが、パイプラインが複雑になると、このような前処理の復元作業に時間を要したり、バグの原因になったりしています。

そこで、これらの操作をスムーズに行う工夫点はありますでしょうか？

想定対応

思いつきですが、DataFrame、arrayなどのデータや、StandardScalerなどの変換郡、データの付随情報などをインスタンス化する方法があるのですが、このような操作は一般的でしょうか？

今のところあまり問題は起こっていないのですが、他人の書いたスクリプトで見たことがないもので、何かしら欠点もあるのでは？とも感じています。

もしやられている方、もしくはベターな方法をご存知の方がおりましたらお知恵をいただけたらと思います。

Answer 1

直接の回答ではないのですが参考として
Rですと多種の分析手法を統一した関数、メソッドで実行できるcaretというのがあるのですが、Pythonでは
私は知りません。scikit-learnはちょっと趣が違うようです。

ただ、AutoML的に複数の分析手法を半自動で扱える
https://pycaret.org/
が最近出来ました。手法をまたいで統一的な書き方が出来るようになっているので、ご質問の趣旨とは方向が
ことなるかとは思いますが、参考にはなるかと思います。

Comments

[MagMag]

ありがとうございます。知らなかった情報なので、ベストアンサーとさせてください！