【データ分析】人毎の熟練度を考慮した分析をしたい

Question

現在、掘削機を操縦している時のデータの分析を業務で行っております。
掘削機の運転データ（速度、回転数、ガス圧等）から、掘削してる岩盤の強度を予測させるのが目的です。

ただし、この機械を操縦している人が早番遅番で変わり、操縦者によって運転データの傾向が変わってしまいます。
（午前中は相関が出ていた特徴量が、午後のデータでは相関が無くなっていたりする）

現場担当者の方の意見では「ベテランと若手だと相当腕に差がある」とのことで
そういった、個人差を考慮したうえでデータ分析をする手法があれば教えてください！
※どう調べればいいのかもよくわからないため「こういうキーワードで調べるといいよ！」的なのも歓迎です！！

Comments

[kabao]

分析の目的を書いたほうがいいと思います。

[Tadokoro]

ありがとうございます。
目的を追記してみました。

[hayataka2049]

いつ誰が運転していたのかはデータとして取ってますか？

[Tadokoro]

誰が（熟練者か、そうでないか）という情報はありません。早番と遅番で人が変わるということだけわかっています。

Answer 1

stanを使った階層ベイズ推計がいいように思います。これであれば、各人共通のパラメータを推計した上で、各人の運転データの差異もうまくモデリングできる可能性があります。さらにいうと、stanはサンプリングによってパラメータを推計するので、データの件数が少なくても結構うまくいきます。（もちろん、データが多いほうがうまくいきやすくなるのですが…）
難点は、事前に理解しなければならないことが結構多いということです。最尤推定から始まり、ベイズ推計・MCMC・Stan（pystan）などなどです。一度、調べてみるといいかと思います。

Comments

[Tadokoro]

データが少なくてもある程度精度が出る手法を提案していただいたのでベストアンサーにさせていただきます！stan、名前はよく見ますが使ったことがないため、この機会に勉強してみます！ありがとうございました。

Answer 2

十分な項目（速度、回転数、ガス圧、その他・・・）と、十分な行数のデータがあれば、回帰分析ぐらいはできるんじゃないかと思いますが、さらに何か問題があるのでしょうか。

操縦者ごとに使い方が少し違っているのだと思いますが、多数のデータがあれば平均化できるのでは？
または、それらの操縦者の違いを表現するようなデータ項目があれば（一番単純に考えると「操縦者」も項目に含めるとか）、その違いも反映して分析できるのではないでしょうか。

午前中相関があったものが、午後はなくなるというのは、単にデータの数が少ないだけの可能性もあるのではないでしょうか。

Comments

[Tadokoro]

回答ありがとうございます！現状はデータの数がかなり少ないので、今後データを追加で収集してもらう予定にしています。データの数が揃って来ればおのずと精度も出てきそうですかね！

Answer 3

担当者を結び付けられるようなデータを取っていて、担当者ごとに十分なデータ数があれば、担当者ごとに分析してみるのが手っ取り早いでしょう。層別といったりします（そんな大げさではありませんが）。

上の条件を満たさなければ、kabaoさんの回答とかぶりますが、無視してまるごと分析。

Comments

[Tadokoro]

回答ありがとうございます。私も担当者の情報が欲しかったのですが、現状はありません。データが集まるのを待ってみます！

Answer 4

ベテランと若手を分けたいということであれば、k-meansの利用を検討してみてはいかがでしょうか？

Comments

[Tadokoro]

すみません、今回はベテランと若手のデータに分けたいわけではありません。ただ、K-meansの記事も調べてみて別の案件で使えそうでした！ありがとうございます！