Pytorch 画像＋複数入力変数のdataset構築での画像リストエラーを解決したい

Question

Kerasからpytorchへ移行中の初心者です。入力変数は画像+2変数、教師データ1つの
データセットです。このデータセットを学習とバリデイションに分けたいのですが、画像はリストなので下記エラーが出ます。

AttributeError: 'list' object has no attribute 'size'

###やりたいこと
画像＋2変数の入力値、１つの教師データのデータセットを作りたい。

###データ形状
X_pic = (3, 224,224) #pytorchTensor
X_one = (1,)
X_two = (26,) #one-hotに
y = (1,)

#長くなり恐縮です。
（ライブラリは省略）
# 入力画像の前処理①：テンソル変換とimagenet標準化

class ImageTransformPytorch():
    
    def __init__(self, resize, mean, std):
        self.data_transform = (
                transforms.Compose([
                transforms.Resize(resize),  
                transforms.ToTensor(),  # pytorchテンソル変換
                transforms.Normalize(mean, std)  # 標準化
                ]))
    
    def __call__(self, X):
        return self.data_transform(X)

size = 224
mean = (0.485, 0.456, 0.406)
std = (0.229,0.224,0.225)

#画像読み込み
X_pic = []

#アドバイスコード：画像Noを取り出す
df = pd.read_csv('./test_df.csv')
files = list(df["pic_no"].map(lambda x: './demo_picture/{}.jpg'.format(x)))

for file in files:
    img = Image.open(file)
    transform = ImageTransformPytorch(size, mean, std) #ImageTransformPytorchモジュール
    img_ = transform(img)
    X.append(img_)

#教師データ読み込み
df_y = df['teacher]
y = np.array(df_y)

##変数2：
X_one = df['a']
X_one = np.array(X_one)

#変数3：
X_two = pd.get_dummies(df['b'])
X_two = np.array(X_two)

#deta_split
x_pic_train, x_pic_val, y_train, y_val,x_one_train, x_one_val, x_two_train, x_two_val
 = model_selection.train_test_split(
 X_pic,y,X_one,X_two,random_state=50,test_size=0.15)

#to_torch
x_one_train = torch.Tensor(x_one_train)
x_one_val = torch.Tensor(x_one_val)
x_two_train = torch.Tensor(x_two_train)
x_two_val = torch.Tensor(x_two_val)
y_train = torch.Tensor(y_train)
y_val = torch.Tensor(y_val)

# 入力と出力を結合
train_dataset = torch.utils.data.TensorDataset(
 x_pic_train,x_one_train, x_two_train, y_train)
val_dataset = torch.utils.data.TensorDataset(
 x_pic_val,x_one_val, x_two_val, y_val)

#erro
AttributeError: 'list' object has no attribute 'size'

###他に試行したこと
リストの問題と考えて、ほかの方のコードを用いてランダム整数値でリストを作り上記同様の流れで試行しましたが、こちらはエラーは出ませんでした。

in_oneD, in_twoD, target = [], [], []
 
for _ in range(100):
    in_oneD.append(np.random.randn(3))
    in_twoD.append(np.random.randn(1, 15, 20))
    target.append(np.random.randn(100))

in_oneD = np.array(in_oneD)
in_twoD = np.array(in_twoD)
target = np.array(target)
 
# データを学習用とテスト用に分割
oneD_train, oneD_test, twoD_train, twoD_test, target_train, target_test = model_selection.train_test_split(in_oneD, in_twoD, target, test_size=1/7, random_state=0)
 
# PyTorchのテンソルに変換
oneD_train = torch.Tensor(oneD_train)
oneD_test = torch.Tensor(oneD_test)
twoD_train = torch.Tensor(twoD_train)
twoD_test = torch.Tensor(twoD_test)
target_train = torch.LongTensor(target_train)
target_test = torch.LongTensor(target_test)
 
# 入力と出力を結合
ds_train = torch.utils.data.TensorDataset(oneD_train, twoD_train, target_train)
ds_test = torch.utils.data.TensorDataset(oneD_test, twoD_test, target_test)


コードの表示(ブロック)

両者コードの違いから、画像リストの作り方に問題があるように考えていますが、どうすればよいかわかりません。

冗長でわかりにくい質問で恐縮ですが、ご回答のほどよろしくお願いします。

Comments

[tiitoi]

エラーメッセージだけだとどの行でエラーが発生したのかわからないので、スタックトレースも含めて貼ってください

[hidemomo]

了解しました。よろしくお願いします。

---------------------------------------------------------------------------
AttributeError Traceback (most recent call last)
<ipython-input-72-4bf15e47a00e> in <module>
1 # 入力と出力を結合
2
----> 3 train_dataset = torch.utils.data.TensorDataset(x_train,x_bs_train, x_cate_train, y_train)
4 val_dataset = torch.utils.data.TensorDataset(x_val,x_bs_val, x_cate_val, y_val)

~\AppData\Local\Continuum\anaconda3\lib\site-packages\torch\utils\data\dataset.py in __init__(self, *tensors)
156
157 def __init__(self, *tensors):
--> 158 assert all(tensors[0].size(0) == tensor.size(0) for tensor in tensors)
159 self.tensors = tensors
160

~\AppData\Local\Continuum\anaconda3\lib\site-packages\torch\utils\data\dataset.py in <genexpr>(.0)
156
157 def __init__(self, *tensors):
--> 158 assert all(tensors[0].size(0) == tensor.size(0) for tensor in tensors)
159 self.tensors = tensors
160

AttributeError: 'list' object has no attribute 'size'

[tiitoi]

x_pic_train,x_one_train, x_two_train, y_train は全部 Tensor オブジェクトになっていますか。
x_pic_train.size(),x_one_train.size(), x_two_train.size(), y_train.size() と size() を print してみて、もしエラーになるものがあれば、その変数が原因です。

[hidemomo]

ありがとうございます。[t.size() for t in x_pic_train]ですと、torch.Size([3, 224, 224])、が行数分表示されます。ただ、現状のリスト形式だと上記エラーが出ますので原因は画像「x_pic_train」「x_pic_test」と考えられます。
x_pic_train = torch.Tensor(x_train)も試行しましたが、
ValueError: only one element tensors can be converted to Python scalars
が出ます。

tensor.numpyに変換する必要があるのでしょうか？

[tiitoi]

質問のコードだとX_pic が空のままのように見えますがどうでしょうか？
例えば、x_pic_train が原因なのだとしたら、その変数は train_test_split の返り値なので、X_pic はどうなっているのか、というように逆にたどっていって1つ1つ変数を print してデバッグしてください

[hidemomo]

ありがとうございます。上記編集でメールが行き違いになり失礼しました。
リスト内は空ではなく、行数分格納されています。
datasete構築において、画像がリストのままだと上記エラーとなり、その対処がわからない、ということになります。もう少し、考えてみます。
お忙しいところ、ありがとうございました。

Answer 1

Tensor型だとリストは分割されないのでnumpyで分割後にtensor変換するとうまくいきました。

以下、コードのポイント

size=224

X_pic=[]

df = pd.read_csv('./test_df.csv')
files = list(df["pic_no"].map(lambda x: './demo_picture/{}.jpg'.format(x)))

for file in files:
    img = Image.open(file)
    img = img.resize((size,size))
    img_ = np.array(img)
    img_ = img_.transpose((2, 0, 1)) #pytroch(色, 高さ, 幅)
    X_pic.append(img_)

#標準化/他変数省略

x_pic_train, x_pic_val, y_train, y_val,x_one_train, x_one_val, x_two_train, x_two_val
 = model_selection.train_test_split(

x_pic_train = torch.Tensor(x_pic_train)
x_pic_test = torch.Tensor(x_pic_test)