質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
CNN (Convolutional Neural Network)

CNN (Convolutional Neural Network)は、全結合層のみではなく畳み込み層とプーリング層で構成されるニューラルネットワークです。画像認識において優れた性能を持ち、畳み込みニューラルネットワークとも呼ばれています。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

1156閲覧

機械学習にて、自作データセットをラベル化したい

lily_beginner

総合スコア1

CNN (Convolutional Neural Network)

CNN (Convolutional Neural Network)は、全結合層のみではなく畳み込み層とプーリング層で構成されるニューラルネットワークです。画像認識において優れた性能を持ち、畳み込みニューラルネットワークとも呼ばれています。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2022/01/04 14:07

前提・実現したいこと

機械学習初心者大学生です。
CNN(resnet)を用いた画像分類に関する卒業研究を行っており、その過程で自作データセットを作成しなくてはならないのですが、16016枚の画像をtrainとvalの中にある"0"と"1"というファイルに指定の数分類したいのですが、どのようなコードをかけばいいのかわかりません。
以下、手元にあるものです。
・"images" 16016枚の画像が入ったフォルダ
・"labels.json" 画像の名前とのその画像が1と0どちらに含まれているのかを示すメモ
"labels.json"の中身:[["000000.jpg", 0], ["000001.jpg", 0], ["000002.jpg", 1], …["016015.jpg", 1]]

試したこと

"labels.json"が配列になっているので、forを用いり後ろの数が、0か1かでいれるファイルを指定すればいいのではないかと考えましたが、"labels.json"をどのようにすれば配列に入れることが可能なのかわかりませんでした。
コピペして無理矢理やろうともしましたが、"000000.jpg"が見つからないとエラーがでてしまい、よく分からなくなってしまいました。

補足情報(FW/ツールのバージョンなど)

Googlecolaboratoryを使用しています

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

meg_

2022/01/04 14:40

> "000000.jpg"が見つからないとエラーがでてしまい 何をしたときに上記が発生したのでしょうか?
lily_beginner

2022/01/04 14:58

"labels.json"の一部を切り取り、実際に配列(label)に入れ、label[0][0]と名前が一致するものをtrainの0に入れることは可能なのかを確認する際に起こってしまいました。 labelには"labels.json"の頭の部分[["000000.jpg", 0], ["000001.jpg", 0]]が入っています
退会済みユーザー

退会済みユーザー

2022/01/04 21:27 編集

Q.1 検証するのに最小限のjsonファイルの一部(例えばJSONファイルのレコードを上から5件分)と今やったところまでのコードを掲載できますか? > 以下、手元にあるものです。(略) Q.2 画像とラベル情報はJSONであるので、これらの情報を元に、 例えば「x(画像もしくは画像へのパス),y(ラベル)のようなリストに格納」して、 xyそれぞれを後続の処理で「sklearn.model_selection.train_test_splitみたいな処理に持っていきたい」と考えている ――が、そこに行くまでに躓いている、ということであっていますか?
lily_beginner

2022/01/05 03:33

Q.1.anser jsonファイルの冒頭です。:[["000000.jpg", 1], ["000001.jpg", 1], ["000002.jpg", 1], ["000003.jpg", 1], ["000004.jpg", 1], … 自分で行ってみたコードです。: import shutil label = [["000000.jpg", 1], ["000001.jpg", 1], ["000002.jpg", 1], ["000003.jpg", 1], ["000004.jpg", 1], ["000005.jpg", 1], ["000006.jpg", 1], ["000007.jpg", 1], ["000008.jpg", 1], ["000009.jpg", 1], ["000010.jpg", 1], ["000011.jpg", 1], ["000012.jpg", 1], ["000013.jpg", 1], ["000014.jpg", 1], ["000015.jpg", 1], ["000016.jpg", 0], ["000017.jpg", 0], ["000018.jpg", 0], ["000019.jpg", 0], ["000020.jpg", 0], ["000021.jpg", 0], ["000022.jpg", 0], ["000023.jpg", 0], ["000024.jpg", 0], ["000025.jpg", 0], ["000026.jpg", 0], ["000027.jpg", 0], ["000028.jpg", 0], ["000029.jpg", 0], ["000030.jpg", 0], ["000031.jpg", 0], ["000032.jpg", 1]] for i in range(33): if label[i][1] == 0: shutil.copy('./images/label[i][1]', './content/drive/MyDrive/Colab Notebooks/PartialConv/imagedata/train/0') if label[i][1] == 1: shutil.copy('./images/label[i][1]', './content/drive/MyDrive/Colab Notebooks/PartialConv/imagedata/train/1') 分ける前にlabel[0][0]で画像の名前として認知できるのかを行いたかった結果です。 ですので、まだ自分のしたいことまでには全く届いていません。 Q.2 .anser. その通りです。jsonファイルを基に、データを訓練用とテスト用に分割したいと考えています。 ./train/0 ./train/1 ./val/0 ./val/1に一定の枚数で分けようと考えています。(元々の画像の0と1の枚数は等しいです)
TakaiY

2022/01/05 09:43

回答はここに書くのでなく、質問文を修正しましょう。 ここではコードが整形されないし、見に来たひとに伝わりません。
guest

回答1

0

ベストアンサー

"labels.json"をどのようにすれば配列に入れることが可能なのかわかりません

ちょっと検索すればわかるはずなんですが、jsonというモジュールを使えば簡単です。「python json」で検索してみてください。

質問の回答に提示されているコードですが、これちょっと直せば動くでしょう。

pytho

1for i in range(33): 2 if label[i][1] == 0: 3 shutil.copy('./images/label[i][1]', './content/drive/MyDrive/Colab Notebooks/PartialConv/imagedata/train/0') 4 5 if label[i][1] == 1: 6 shutil.copy('./images/label[i][1]', './content/drive/MyDrive/Colab Notebooks/PartialConv/imagedata/train/1')

適当に整形しましたが、コピー元のファイル名は、リストの1番目=index 0 にあるので、 ./images/label[i][1] でなくて、 ./images/label[i][0] であるべきだと思います。


また、labelはリストなのだから、rangeでなく、そのものをループの対象にしたほうがpythonっぽいですね。このときは、全体のリストをlabelsとしたほうが変数名がきれいになります。

python

1for label in labels: 2 if label[1] == 0: 3 shutil.copy(label[0], './con .../0') 4 elif label[1] == 1: 5 shutil.copy(label[0], './con .../1')

投稿2022/01/05 09:57

編集2022/01/05 10:01
TakaiY

総合スコア13790

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問