Q&A
「Excelで変換」というのはVBAですか？
前提・実現したいこと
教師データのクレンジング処理をどうしていますか？
（クレンジング処理に時間がかかるので、自動化させたく）
実例
自動車市場価格算出モデルの構築で、
各サイト（中古車情報サイト）から車情報を取得し、
DataRobotというMLツールでデータモデルを構築してます。
その際の車情報の車種名がバラバラで、現在はExcel VBAでルールを作って変換をかけていますが、次々とルールを更新させていかなければ対応できず、困っています。
（MLやAI業界でどのようにしているか教えていただきたく。。）
お願いします。
より具体例
実際の車種名データのクレンジングでいうと、、
正式名称 Alphard
誤りケース１ Alfard
→ AlfardをAlphardに変換する処理作成
その後、、
誤りケース２ Rphard
→ RphardをAlphardに変換する処理作成
現状
ExcelVBAで変換のルールを新しいものができる毎に作成しています。
結構時間がかかってしまっています。
コメントいただきありがとうございます。
はい、VBAです。
「結構時間がかかってしまっています。」というのは具体的にはどれくらいのデータで何分でしょうか？
10万件の中古車サイトのデータを毎日取得していて、一ヶ月ごとにまとめて、教師データを追加してモデルを再生成しています。その際に車種名の統一化、一部データの補正に約3人日を要しています。
実際に作業しているのは自分ではないのですが、依頼するとそれくらいかかってしまいます。
外部に委託されてるのでしょうか？ その場合は予備日含めそのくらいかかるかもしれません。
社内で作業している場合は効率化できるかもしれません。（マクロの改善など）マクロの実行時間が長いのか、手作業時間が長いのかによっても対策は変わってくるでしょう。
回答1件
0
ベストアンサー
そういうことを経験している業界の人間という訳ではないので無責任な回答になりますが、正解のリストがあれば名前の一致度（編集距離でも使ってください）と要目の一致度などを使って自動的に統一するのは、どうしても出るであろう一定数のエラーを許容できれば難しくはないと感じます。
投稿2020/04/25 12:01
総合スコア30935
ありがとうございます！
方針が見えてきました！文字列の一致度の方法、編集距離以外もございましたら、教えていただけますでしょうか。
大変助かります！！
そこは難しくないはずなので（調べれば出てくる話なので）ご自身でどうぞ。
それより懸念されるのは正解のリストをどうするかで、こっちを手入力するのはそれなりの手間かもしれません。毎月10万件見るよりはましかもですが……
データが沢山溜まっているなら教師なしでなんとかできるような工夫があるといいかもしれません。一定件数登録されてる名前に類似しているものはそれの同類として扱っていいことにする、とか。
ありがとうございます！大変助かりました！
あなたの回答
tips
プレビュー
