質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
深層学習

深層学習は、多数のレイヤのニューラルネットワークによる機械学習手法。人工知能研究の一つでディープラーニングとも呼ばれています。コンピューター自体がデータの潜在的な特徴を汲み取り、効率的で的確な判断を実現することができます。

人工知能

人工知能とは、言語の理解や推論、問題解決などの知的行動を人間に代わってコンピューターに行わせる技術のことです。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

1186閲覧

機械学習の教師データのクレンジング処理の自動化方法について教えて下さい。

Tetsukick

総合スコア297

深層学習

深層学習は、多数のレイヤのニューラルネットワークによる機械学習手法。人工知能研究の一つでディープラーニングとも呼ばれています。コンピューター自体がデータの潜在的な特徴を汲み取り、効率的で的確な判断を実現することができます。

人工知能

人工知能とは、言語の理解や推論、問題解決などの知的行動を人間に代わってコンピューターに行わせる技術のことです。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2020/04/24 04:25

編集2020/04/24 04:58

前提・実現したいこと

教師データのクレンジング処理をどうしていますか?
(クレンジング処理に時間がかかるので、自動化させたく)

実例

自動車市場価格算出モデルの構築で、
各サイト(中古車情報サイト)から車情報を取得し、
DataRobotというMLツールでデータモデルを構築してます。
その際の車情報の車種名がバラバラで、現在はExcel VBAでルールを作って変換をかけていますが、次々とルールを更新させていかなければ対応できず、困っています。
(MLやAI業界でどのようにしているか教えていただきたく。。)
お願いします。

より具体例

実際の車種名データのクレンジングでいうと、、
正式名称 Alphard
誤りケース1 Alfard
→ AlfardをAlphardに変換する処理作成
その後、、
誤りケース2 Rphard
→ RphardをAlphardに変換する処理作成

現状

ExcelVBAで変換のルールを新しいものができる毎に作成しています。
結構時間がかかってしまっています。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

meg_

2020/04/24 04:31

「Excelで変換」というのはVBAですか?
Tetsukick

2020/04/24 04:57

コメントいただきありがとうございます。 はい、VBAです。
meg_

2020/04/24 06:07

「結構時間がかかってしまっています。」というのは具体的にはどれくらいのデータで何分でしょうか?
Tetsukick

2020/04/24 09:39

10万件の中古車サイトのデータを毎日取得していて、一ヶ月ごとにまとめて、教師データを追加してモデルを再生成しています。その際に車種名の統一化、一部データの補正に約3人日を要しています。 実際に作業しているのは自分ではないのですが、依頼するとそれくらいかかってしまいます。
meg_

2020/04/25 01:42

外部に委託されてるのでしょうか? その場合は予備日含めそのくらいかかるかもしれません。 社内で作業している場合は効率化できるかもしれません。(マクロの改善など)マクロの実行時間が長いのか、手作業時間が長いのかによっても対策は変わってくるでしょう。
guest

回答1

0

ベストアンサー

そういうことを経験している業界の人間という訳ではないので無責任な回答になりますが、正解のリストがあれば名前の一致度(編集距離でも使ってください)と要目の一致度などを使って自動的に統一するのは、どうしても出るであろう一定数のエラーを許容できれば難しくはないと感じます。

投稿2020/04/25 12:01

hayataka2049

総合スコア30933

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Tetsukick

2020/04/25 12:13

ありがとうございます! 方針が見えてきました!文字列の一致度の方法、編集距離以外もございましたら、教えていただけますでしょうか。 大変助かります!!
hayataka2049

2020/04/25 12:21

そこは難しくないはずなので(調べれば出てくる話なので)ご自身でどうぞ。 それより懸念されるのは正解のリストをどうするかで、こっちを手入力するのはそれなりの手間かもしれません。毎月10万件見るよりはましかもですが…… データが沢山溜まっているなら教師なしでなんとかできるような工夫があるといいかもしれません。一定件数登録されてる名前に類似しているものはそれの同類として扱っていいことにする、とか。
Tetsukick

2020/04/25 12:22

ありがとうございます!大変助かりました!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問