AIシステム開発の工程表

Question

私の周りに非情報系ですがAIについて「とにかくデータを入れておけばAIがうまいこと考えてくれて欲しい結果を出してくれるものだからAIを使うのは簡単」と思っている方がいます。
私はそれに賛同できず、AIを使うには工程が必要で、表にするとしたら次のようになると考えています。
言葉足らずな部分もあるかと思いますが、認識誤り・ご意見等いただきたく思います。

目的は機械の稼働状態が正常か異常かを判定し、リアルタイムに出力することとします。

step	step名	内容	課題
1	データ収集	機械の温度、音、振動、電流等をセンシングする。	正常・異常を含みそうな項目を選択すること。
2	前処理	センシング値を行列に変換。次元削減等。	AIモデルが扱いやすいように変換すること。
3	AIモデル作成	AIアルゴリズム選択。訓練。	適切なアルゴリズムを選択すること。汎化性能が高くなるよう訓練すること。
4	運用	リアルタイムにデータを取得。判断と結果表示。	リアルタイムにデータ取得できるようにすること。

Answer 1

解決済みですが、いくつかが付いたことをコメントします。

現場の理解があまりないようだと、データの収集（センシング）の段階で、『なぜ必要か』というところで揉めます。特にデータ収集に追加コストや手間が必要な場合はその傾向が顕著です。最悪な場合、『AIはそんなにバカなのか』と断じられて、以後の協力を得られないこともあります。
そのため、まずは在りもののデータで取り組みを始めて現場の興味を引くような結果（成果）を出してから『さらに高い精度を得るため』という大義名分をもとにデータの収集を本格的に始めるほうが、いい感じで取り組みが進みます。とにかく、プロジェクトをどう進めるかよりも現場を巻き込む方策を意識したほうがいいかもしれません。

初めのころはあまり複雑なモデルを駆使しないほうがいいかもしれません。
「とにかくデータを入れておけばAIがうまいこと考えてくれて欲しい結果を出してくれる」という人に限って完成したモデルの挙動を現場ユーザが理解可能なデータや単語を用いて表現しない限り、納得してもらえません。そこで、最初はかなりシンプルなモデル（場合によっては記述統計に基づくルールベースでも構わない）を活用してAIに対する万能感やブラックボックス感を持たれないように工夫したほうがいいかと思います。

精度目標は、ビジネスニーズを考慮したほうがいいでしょう。
質問によると、機械の稼働状況の正常・異常を判定したいということですが、正常を異常と判定するケースと異常を正常と判定するケースとどちらのほうがビジネス上許容されるのかについて詰めた上で、精度のチューニングに取り組むべきかと思います。正常を異常と判定したケース1回と異常を正常と判定したケース1回ではビジネス上の損失が異なるかと思うのでそのあたりを加味しながら精度目標を設定したほうがいいでしょう。

Comments

[Takamu2445]

ありがとうございます。今後の指針が得られたように思います。

私自身もデータを取ってみないとわからない部分もあり、現場に対して強く推せないでいますが、何か１つのことでまずそれらしい結果を出すことを目指していこうと思います。

現在は主に周波数解析のため多次元になっていますが、2次元にまで落とし込んで説明できればと思いました。

Answer 2

• モデルによって、必要な入力データが変わってくるので、これからデータも収集するということであれば、最初にモデルの検討をしたほうがいいかもしれないです。
• モデルの検討の際には、書籍や論文で手法や既存研究の調査を行うとよいです。
• AI の開発は、ウォータフローモデルは適用できません。1 ～ 4まで行った結果、精度が不足している場合、原因の検討を行います。データに問題があれば、データの取り直します。またモデルの問題であれば、モデルを変えたり、パラメータを調整して再学習します。

以上を精度がよくなるまでサイクルを回します。アジャイル開発が近いかもしれません。

Comments

[Takamu2445]

ありがとうございます。AI開発はまだ2件しか経験ありませんが、1～4をやってみないとわからない面もあると感じており、おっしゃるようにアジャイル開発が近いと感じています。

１つ疑問なのですが、精度に問題がある場合、それがデータの問題だという判断基準はどうされているでしょうか？

私の場合、知っている範囲のモデルを試し、パラメータもいくつか試してダメだったら（それでもモデルやパラメータが悪い可能性は残りつつも）データか前処理が悪いと考えています。また、可能ならデータを可視化してみて、全然違いがない場合もデータが悪いと考えています。

[tiitoi]

自分は画像処理がメインなので、データとなる画像の見た目で判断しますね。例えば、画像が不鮮明であったり、バリエーションが不足している場合は撮り直したりします。
また問題を簡単にする方法があれば、条件を工夫します。
例えば工場の画像処理を用いた検査システムの開発あれば、ライトを使い撮影環境を整えたりすることで、問題設定を簡単にします。

[Takamu2445]

なるほど。データ側にもそういう工夫の余地があるんですね。

Answer 3

工程だけでなく、どういった知識がなぜいるかがあると苦労がわかりやすいかなと思います。

Comments

[Takamu2445]

ありがとうございます。
知識という観点では考えていませんでした。私自身、どういう知識を元に今のシステムを開発したか自覚できておらず、その点から考えてみたいと思います。