teratail
回答率
85.30%
teratail header banner
teratail header banner
質問するログイン新規登録
トップに関する質問Pytorch Dataset DataLoader

編集履歴

質問編集履歴

5

文章修正

2020/10/06 14:48

投稿

mn.py
mn.py

スコア41

title CHANGED
File without changes
body CHANGED
@@ -25,9 +25,9 @@
25
25
  for i, data in enumerate(dataset_loader):
26
26
  print(data)
27
27
  ```
28
- datasizeは４０個の要素が入ったdata１０００個あるとして、
29
- 下記のような40個の値が入ったベクトルがbatch_size=2なので２組、５００セット返ってくることをイメージしてたのですが、
30
- [[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],1.0]・・・・
28
+ ### 出力のイメージ
29
+ datasizeは４０個の要素が入ったベクトルが１０００個、batch_size=2であれば、２組５００セット返ってくることをイメージ
30
+ [[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],1.0],[[1, 0, 1, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1],0.0]・・・・
31
31
 
32
32
  実際出てきたのはこのように２つづつのdataと最後にlabelがくっついたものでした。
33
33
  [[tensor([0, 0]), tensor([0, 0]), tensor([0, 0]), tensor([0, 0]), tensor([0, 0]), tensor([0, 0]), ・・・・・・・・・・([0, 0])], tensor([0., 0.], dtype=torch.float64)]

4

文章修正

2020/10/06 14:48

投稿

mn.py
mn.py

スコア41

title CHANGED
File without changes
body CHANGED
@@ -26,8 +26,8 @@
26
26
  print(data)
27
27
  ```
28
28
  datasizeは４０個の要素が入ったdata１０００個あるとして、
29
- 下記のように40このベクトルがbatch_size=2なので２組になって、５００セット返ってくることをイメージしてたのですが、
29
+ 下記のような40個の値が入ったベクトルがbatch_size=2なので２組、５００セット返ってくることをイメージしてたのですが、
30
- [[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],1.0]・・・・（×data数分）
30
+ [[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],1.0]・・・・
31
31
 
32
32
  実際出てきたのはこのように２つづつのdataと最後にlabelがくっついたものでした。
33
33
  [[tensor([0, 0]), tensor([0, 0]), tensor([0, 0]), tensor([0, 0]), tensor([0, 0]), tensor([0, 0]), ・・・・・・・・・・([0, 0])], tensor([0., 0.], dtype=torch.float64)]

3

改行などを修正

2020/10/06 14:43

投稿

mn.py
mn.py

スコア41

title CHANGED
File without changes
body CHANGED
@@ -2,19 +2,19 @@
2
2
  PyTorchで自作のDetasetを作ってDataLoaderに渡して中身の確認をしています。
3
3
  CSVの中身です。
4
4
  ID CLS VAL (VALに０、１が４０個入っています)
5
- 0 0 1,0,0,0,0,0,0,1,0,0,0,1,0,0,1,1,1,0,1,1,1,1,1,0
5
+ 0 　　0 1,0,0,0,0,0,0,1,0,0,0,1,0,0,1,1,1,0,1,1,1,1,1,0
6
- 1 0 1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,1,1,0,1,0,1,1,1,0
6
+ 1 　　0 　1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,1,1,0,1,0,1,1,1,0
7
- 2 1 1,0,0,0,1,0,0,0,0,0,0,1,0,0,1,0,1,0,0,1,0,1,1,0
7
+ 2 　　1 　1,0,0,0,1,0,0,0,0,0,0,1,0,0,1,0,1,0,0,1,0,1,1,0
8
- 3 0 1,0,0,0,0,0,0,0,0,0,0,1,1,0,1,1,1,0,1,1,1,0,1,0
8
+ 3 　　0 　1,0,0,0,0,0,0,0,0,0,0,1,1,0,1,1,1,0,1,1,1,0,1,0
9
- 4 0 1,0,0,1,0,0,0,1,0,0,0,1,1,0,1,1,0,0,1,1,1,1,1,0
9
+ 4 　　0 　1,0,0,1,0,0,0,1,0,0,0,1,1,0,1,1,0,0,1,1,1,1,1,0
10
- ... ... ...
10
+ ... 　　... ...
11
- 995 0 1,0,0,1,0,0,0,1,0,0,0,1,1,0,1,1,1,0,1,1,1,1,1,0
11
+ 995 　0 　1,0,0,1,0,0,0,1,0,0,0,1,1,0,1,1,1,0,1,1,1,1,1,0
12
- 996 1 1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,0,0,0,1,0,1,0,1,0
12
+ 996 　1 　1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,0,0,0,1,0,1,0,1,0
13
- 997 0 1,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,1,0,0,0,1,1,0,0
13
+ 997 　0 　1,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,1,0,0,0,1,1,0,0
14
- 998 1 1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,0,1,0,0,1,1,1,0,0
14
+ 998 　1 　1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,0,1,0,0,1,1,1,0,0
15
- 999 1 1,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,0,1,0,1,1,0,0,0
15
+ 999 　1 　1,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,0,1,0,1,1,0,0,0
16
- IDとVALをdataとしてlistに[[1, 0, 1, 0, 0, ・・・・0, 1, 0, 1, 0, 1]、[1, 0, 0, ・・・・0, 0, 0,]・・ ]]
16
+ [ID]と[VAL]を[data]としてlistに-->[[1, 0, 1,・・・・0, 1, 0, 1, 0, 1]、[1, 0, 0, ・・・・0, 0, 0,]・・ ]]
17
- CLSをlabelとしてlistに[[0],[1],[0],・・・・・・]]
17
+ [CLS]をlabelとして[list]に-->[[0],[1],[0],・・・・・・]]
18
18
  Datasetでは、　returnで　data,label　を１組ずつ返してます。
19
19
 
20
20
  下記のコードでprintして、

2

csvの中身について追記しました。説明不足ですみません。

2020/10/06 14:41

投稿

mn.py
mn.py

スコア41

title CHANGED
File without changes
body CHANGED
@@ -1,5 +1,21 @@
1
1
  # DataLoaderのふるまいの正解がわからない
2
2
  PyTorchで自作のDetasetを作ってDataLoaderに渡して中身の確認をしています。
3
+ CSVの中身です。
4
+ ID CLS VAL (VALに０、１が４０個入っています)
5
+ 0 0 1,0,0,0,0,0,0,1,0,0,0,1,0,0,1,1,1,0,1,1,1,1,1,0
6
+ 1 0 1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,1,1,0,1,0,1,1,1,0
7
+ 2 1 1,0,0,0,1,0,0,0,0,0,0,1,0,0,1,0,1,0,0,1,0,1,1,0
8
+ 3 0 1,0,0,0,0,0,0,0,0,0,0,1,1,0,1,1,1,0,1,1,1,0,1,0
9
+ 4 0 1,0,0,1,0,0,0,1,0,0,0,1,1,0,1,1,0,0,1,1,1,1,1,0
10
+ ... ... ...
11
+ 995 0 1,0,0,1,0,0,0,1,0,0,0,1,1,0,1,1,1,0,1,1,1,1,1,0
12
+ 996 1 1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,0,0,0,1,0,1,0,1,0
13
+ 997 0 1,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,1,0,0,0,1,1,0,0
14
+ 998 1 1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,0,1,0,0,1,1,1,0,0
15
+ 999 1 1,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,0,1,0,1,1,0,0,0
16
+ IDとVALをdataとしてlistに[[1, 0, 1, 0, 0, ・・・・0, 1, 0, 1, 0, 1]、[1, 0, 0, ・・・・0, 0, 0,]・・ ]]
17
+ CLSをlabelとしてlistに[[0],[1],[0],・・・・・・]]
18
+ Datasetでは、　returnで　data,label　を１組ずつ返してます。
3
19
 
4
20
  下記のコードでprintして、
5
21
  ```Python

1

文章を直しました

2020/10/06 14:28

投稿

mn.py
mn.py

スコア41

title CHANGED
File without changes
body CHANGED
@@ -10,7 +10,7 @@
10
10
  print(data)
11
11
  ```
12
12
  datasizeは４０個の要素が入ったdata１０００個あるとして、
13
- 下記のように40このベクトルがbatch_size=2なので２セットになって５００セット返ってくることをイメージしてたのですが、
13
+ 下記のように40このベクトルがbatch_size=2なので２組になって、５００セット返ってくることをイメージしてたのですが、
14
14
  [[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],1.0]・・・・（×data数分）
15
15
 
16
16
  実際出てきたのはこのように２つづつのdataと最後にlabelがくっついたものでした。