質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
86.12%
PyTorch

PyTorchは、オープンソースのPython向けの機械学習ライブラリ。Facebookの人工知能研究グループが開発を主導しています。強力なGPUサポートを備えたテンソル計算、テープベースの自動微分による柔軟なニューラルネットワークの記述が可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

解決済

自作datasetでtransformsを設定したい

tmc5
tmc5

総合スコア26

PyTorch

PyTorchは、オープンソースのPython向けの機械学習ライブラリ。Facebookの人工知能研究グループが開発を主導しています。強力なGPUサポートを備えたテンソル計算、テープベースの自動微分による柔軟なニューラルネットワークの記述が可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

1回答

0リアクション

0クリップ

210閲覧

投稿2022/08/31 09:42

編集2022/08/31 12:12

前提

pytorchでVAEのコードを動かしたいです。
参考にしているサイトはこちら
https://academ-aid.com/ml/vae#index_id18
で、このサイトではMNISTのデータセットを用いています。
自分はそれを自作のデータ(画像ではなく一次元データ)を用いて動かしたいと思っています。

使用するデータ
・要素数128の一次元データ 約5000個
・正解ラベル 上記と同数

実現したいこと

データセットを定義したところ、transformのところでエラーが出てしまいます。
参考コードの方では、ToTensorとLambda(データの一次元化)を行っていました。自分の用意したデータはもともと一次元データなので、二つ目は実行しなくてもよいかと思い、ToTensorのみで動かしたところエラーが出ました。一次元化のtransformも含めて実行してもエラーは消えませんでした。用意したデータはfloat32型に変換しています。ToTensorを動かしたいのですが、どこに不具合がおこっているのかを教えていただきたいです。エラーメッセージの「次元2/3であるべきだけど次元1になりました」の内容もよくわかりませんでした。調べてもあまり関連する項目が見つかりませんでした。そもそも次元2/3とあり、次元は自然数ではないのか、などの疑問もあります。
いろいろ書いてしまいましたが、知りたいのは、ToTensorを動かしたいのですが、どこに不具合がおこっているのかということです。よろしくお願いします。

発生している問題・エラーメッセージ

python

import os # tensorboardの出力先作成 import matplotlib.pyplot as plt # 可視化 import numpy as np # 計算 import torch # 機械学習フレームワークとしてpytorchを使用 import torch.nn as nn # クラス内で利用するモジュールのため簡略化 import torch.nn.functional as F # クラス内で利用するモジュールのため簡略化 from torch import optim # 最適化アルゴリズム from torch.utils.tensorboard import SummaryWriter # tensorboardの利用 from torchvision import datasets, transforms # データセットの準備 import glob import numpy as np # text,acoustic = 128 , text_acoustic = 256 one_z_size = 256 dev = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") print("device :", dev) class Mydatasets(torch.utils.data.Dataset): def __init__(self): self.data = np.empty((0,one_z_size)).astype(np.float32) self.label = np.empty((0,1)).astype(np.float32) #self.transform = transforms.Compose([transforms.ToTensor(), transforms.Lambda(lambda x: x.view(-1))]) self.transform = transforms.ToTensor() print("Intermediate value ( z ) loading...") for j in range(1,6): path = '../../../data/z_out/acoustic_text_feature/'+str(j)+'/' file_path_lists = glob.glob("{}/**".format(path), recursive=True) file_path_lists.pop(0) print("#fold{",j,"} size :",len(file_path_lists)) for i in range(len(file_path_lists)): self.data = np.vstack((self.data, np.load(file_path_lists[i]).astype(np.float32))) print("Emotion label loading...") for j in range(1,6): path = '../../../data/z_out/label/'+str(j)+'/' file_label_path_lists = glob.glob("{}/**".format(path), recursive=True) file_label_path_lists.pop(0) for i in range(len(file_label_path_lists)): #data_name2 = np.append(data_name2, file_label_path_lists[i]) emo_label = np.atleast_1d(np.load(file_label_path_lists[i])) emo_label[0]=emo_label[0][:-1] self.label = np.vstack((self.label, emo_label.astype(np.float32))) #デバック用 print(self.data.shape) #(5584, 256) print(self.label.shape) #(5584, 1) print(self.data[5].shape) #(256,) print(self.label[5].shape) #(1,) def __len__(self): return self.label.size def __getitem__(self, idx): out_data = self.data[idx] out_label = self.label[idx] if self.transform: out_data = self.transform(out_data) return out_data, out_label dataset = Mydatasets() print(dataset[5])

transform ToTensorのみを動かしたときのエラー

Traceback (most recent call last): File "vae.py", line 80, in <module> print(dataset[5]) File "vae.py", line 73, in __getitem__ out_data = self.transform(out_data) File "/home/users/lib/python3.8/site-packages/torchvision/transforms/transforms.py", line 104, in __call__ return F.to_tensor(pic) File "/home/users//lib/python3.8/site-packages/torchvision/transforms/functional.py", line 67, in to_tensor raise ValueError('pic should be 2/3 dimensional. Got {} dimensions.'.format(pic.ndim)) ValueError: pic should be 2/3 dimensional. Got 1 dimensions.

以下のような質問にはリアクションをつけましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

リアクションが多い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

下記のような質問は推奨されていません。

  • 間違っている
  • 質問になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

適切な質問に修正を依頼しましょう。

jbpb0

2022/08/31 10:24

「参考にしているサイトはこちら」の次のurlをクリックしたら、「ページが見つかりません。」となります
jbpb0

2022/08/31 11:10

print(dataset[5]) ↓ 修正 print(dir(dataset)) print(dataset.data[5]) print(dataset.label[5]) でしょうか?
tmc5

2022/08/31 12:16

教えていただいた解決策で動きました!ありがとうございます。ベストアンサーにさせていただきたいのですが、どうしたらよいでしょうか?
bsdfan

2022/08/31 23:12

解決済みになっていますが、2/3 は分数ではなく 2 or 3 の意味でしょう。 torchvisionのToTensorは画像データを前提にしているので2次元(グレースケール)か3次元(カラー)を入力にとります。1次元データにこのToTensorを使おうとするのが不適です。
tmc5

2022/09/01 05:29

な、なるほど... 一次元データ(ndarray)をテンソル化する場合のtransformはどう処理したらよいでしょうか?
bsdfan

2022/09/01 06:53

__init__ の最後で self.data = torch.from_numpy(self.data) しておけばtransformでやる必要はないと思います。(正しい流儀があるのかもしれませんが、このあたりあまり詳しく知らないです)

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
86.12%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

PyTorch

PyTorchは、オープンソースのPython向けの機械学習ライブラリ。Facebookの人工知能研究グループが開発を主導しています。強力なGPUサポートを備えたテンソル計算、テープベースの自動微分による柔軟なニューラルネットワークの記述が可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。