質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
MacOS(OSX)

MacOSとは、Appleの開発していたGUI(グラフィカルユーザーインターフェース)を採用したオペレーションシステム(OS)です。Macintoshと共に、市場に出てGUIの普及に大きく貢献しました。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

2075閲覧

Pythonによるデータセットのテストデータの作成方法

maguro2020

総合スコア34

MacOS(OSX)

MacOSとは、Appleの開発していたGUI(グラフィカルユーザーインターフェース)を採用したオペレーションシステム(OS)です。Macintoshと共に、市場に出てGUIの普及に大きく貢献しました。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2020/06/30 01:24

#前提・実現したいこと
Pythonと自分で作成したデータセットを用いて、metric learningによる異常検知を行いたいと考えております。

#発生している問題・検討していること
オリジナルの画像からデータセットを作成する方法
上記のサイト様を参考にmnistデータのようなデータセットを作成しております。サイト様のおかげでなんとか自力でトレーニングデータの作成を行うことができたのですが、トレーニングデータと一緒にテストデータ(x_test,y_test)を作成したいと思い、調査を行っているのですが、いまだにわかっていない状況です。

#コード

Python

1import matplotlib.pyplot as plt 2import os 3import cv2 4import random 5import numpy as np 6 7DATADIR = "/Users/user name/desktop/Mydataset/png" 8CATEGORIES = ["bell", "call"] 9training_data = [] 10def create_training_data(): 11 for class_num, category in enumerate(CATEGORIES): 12 path = os.path.join(DATADIR, category) 13 for image_name in os.listdir(path): 14 try: 15 img_array = cv2.imread(os.path.join(path, image_name),) # 画像読み込み 16 img_resize_array = cv2.resize(img_array, (394, 248)) # 画像のリサイズ 17 training_data.append([img_resize_array, class_num]) # 画像データ、ラベル情報を追加 18 except Exception as e: 19 pass 20create_training_data() 21random.shuffle(training_data) # データをシャッフル 22X_train = [] # 画像データ 23y_train = [] # ラベル情報 24# データセット作成 25for feature, label in training_data: 26 X_train.append(feature) 27 y_train.append(label) 28# numpy配列に変換 29X_train = np.array(X_train) 30y_train = np.array(y_train) 31 32# データセットの確認 33for i in range(0, 4): 34 print("学習データのラベル:", y_train[i]) 35 plt.subplot(2, 2, i+1) 36 plt.axis('off') 37 plt.title(label = 'bell' if y_train[i] == 0 else 'call') 38 img_array = cv2.cvtColor(X_train[i], cv2.COLOR_BGR2RGB) 39 plt.imshow(img_array) 40plt.show()

#試していること
自前のデータセットの作成方法について
Webデータレポート 生活音を機械学習してみた
上記のサイト様を参考にテストデータを作成できないかと思い、ただいま調査を行っております。しかし、どのようなコードをかけば良いのか分からない状況です。現在の作業ディレクトリのpngフォルダのなかにbellフォルダとcallフォルダがあるのですが、これとは別にbell_testフォルダ、call_testフォルダ(図1)が必要となるのかもわかっていない状況です。図々しいとは思いますが、何かアドバイスをいただけたらと思います。

作業の様子(図1)
pngフォルダ(作業ディレクトリ)

├bellフォルダ
│ └b1.png,b2.png…

└callフォルダ
. └c1.png,c2.png…

#補足
使っているPCはmacOS Catalina バージョン10.15.5
Pythonのバージョンは3.6.5です

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

aokikenichi

2020/06/30 03:49

学習データとテストデータが必要なだけでフォルダなどちらでも構わないと思いますが。 通常は学習データを一定の割合で分けて、例えば 学習データ 7 テストデータ 3 の比率と分ける等となるかと思いますが、こういった内容のご質問でしょうか。
maguro2020

2020/06/30 03:57

ご回答いただきありがとうございます。aokikenichi様。 自分の知識不足のせいでわかりづらい質問となってしまい申し訳ありません。aokikenichi様のおっしゃる通りでございます。ただ分けるにはどういうコードを書けばいいのか、もしくはコードを全て書き直す必要があるのか、わからない状況となっております。
meg_

2020/06/30 05:18 編集

ファイル名一覧を取得して、そこからランダムに訓練用とテスト用に分けて、テスト用の分をフォルダ移動すれば良いかと思います。 具体的なフォルダ構成については機械学習のコードによって変わるかと思います。
maguro2020

2020/07/05 11:56

ご回答いただきありがとうございます。meg様。 ご連絡が大変遅くなってしまい誠に申し訳ありませんでした。meg様のアドバイスを元に自分のコードを改良したいと思います。
guest

回答1

0

ベストアンサー

追記・修正の依頼案でのご提案の方法でもよいですが教師データの比率が等しくなるようにするのが
基本的な考え方なので

機械学習 トレーニングデータの分割と学習・予測・検証

など参考になさってください。

投稿2020/07/02 03:14

aokikenichi

総合スコア2218

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

maguro2020

2020/07/05 11:57

ご回答いただきありがとうございます。aokikenichi様。 上記のサイト様を参考にもう少し自分のコードを改良したいと思います。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問