teratail
回答率
85.48%
質問するログイン新規登録
トップに関する質問Pytorch Dataset DataLoader

編集履歴

質問編集履歴

5

文章修正

2020/10/06 14:48

投稿

mn.py
mn.py

スコア41

test CHANGED
File without changes
test CHANGED
@@ -52,11 +52,11 @@
52
52
 
53
53
  ```
54
54
 
55
- datasizeは４０個の要素が入ったdata１０００個あるとして、
55
+ ### 出力のイメージ
56
56
 
57
- 下記のような40個の値が入ったベクトルがbatch_size=2なので２組、５００セット返ってくることをイメージしてたのですが、
57
+ datasizeは４０個の要素が入ったベクトルが１０００個、batch_size=2であれば、２組５００セット返ってくることをイメージ
58
58
 
59
- [[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],1.0]・・・・
59
+ [[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],1.0],[[1, 0, 1, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1],0.0]・・・・
60
60
 
61
61
 
62
62
 

4

文章修正

2020/10/06 14:48

投稿

mn.py
mn.py

スコア41

test CHANGED
File without changes
test CHANGED
@@ -54,9 +54,9 @@
54
54
 
55
55
  datasizeは４０個の要素が入ったdata１０００個あるとして、
56
56
 
57
- 下記のように40このベクトルがbatch_size=2なので２組になって、５００セット返ってくることをイメージしてたのですが、
57
+ 下記のような40個の値が入ったベクトルがbatch_size=2なので２組、５００セット返ってくることをイメージしてたのですが、
58
58
 
59
- [[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],1.0]・・・・（×data数分）
59
+ [[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],1.0]・・・・
60
60
 
61
61
 
62
62
 

3

改行などを修正

2020/10/06 14:43

投稿

mn.py
mn.py

スコア41

test CHANGED
File without changes
test CHANGED
@@ -6,31 +6,31 @@
6
6
 
7
7
  ID CLS VAL (VALに０、１が４０個入っています)
8
8
 
9
- 0 0 1,0,0,0,0,0,0,1,0,0,0,1,0,0,1,1,1,0,1,1,1,1,1,0
9
+ 0 　　0 1,0,0,0,0,0,0,1,0,0,0,1,0,0,1,1,1,0,1,1,1,1,1,0
10
10
 
11
- 1 0 1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,1,1,0,1,0,1,1,1,0
11
+ 1 　　0 　1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,1,1,0,1,0,1,1,1,0
12
12
 
13
- 2 1 1,0,0,0,1,0,0,0,0,0,0,1,0,0,1,0,1,0,0,1,0,1,1,0
13
+ 2 　　1 　1,0,0,0,1,0,0,0,0,0,0,1,0,0,1,0,1,0,0,1,0,1,1,0
14
14
 
15
- 3 0 1,0,0,0,0,0,0,0,0,0,0,1,1,0,1,1,1,0,1,1,1,0,1,0
15
+ 3 　　0 　1,0,0,0,0,0,0,0,0,0,0,1,1,0,1,1,1,0,1,1,1,0,1,0
16
16
 
17
- 4 0 1,0,0,1,0,0,0,1,0,0,0,1,1,0,1,1,0,0,1,1,1,1,1,0
17
+ 4 　　0 　1,0,0,1,0,0,0,1,0,0,0,1,1,0,1,1,0,0,1,1,1,1,1,0
18
18
 
19
- ... ... ...
19
+ ... 　　... ...
20
20
 
21
- 995 0 1,0,0,1,0,0,0,1,0,0,0,1,1,0,1,1,1,0,1,1,1,1,1,0
21
+ 995 　0 　1,0,0,1,0,0,0,1,0,0,0,1,1,0,1,1,1,0,1,1,1,1,1,0
22
22
 
23
- 996 1 1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,0,0,0,1,0,1,0,1,0
23
+ 996 　1 　1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,0,0,0,1,0,1,0,1,0
24
24
 
25
- 997 0 1,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,1,0,0,0,1,1,0,0
25
+ 997 　0 　1,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,1,0,0,0,1,1,0,0
26
26
 
27
- 998 1 1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,0,1,0,0,1,1,1,0,0
27
+ 998 　1 　1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,0,1,0,0,1,1,1,0,0
28
28
 
29
- 999 1 1,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,0,1,0,1,1,0,0,0
29
+ 999 　1 　1,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,0,1,0,1,1,0,0,0
30
30
 
31
- IDとVALをdataとしてlistに[[1, 0, 1, 0, 0, ・・・・0, 1, 0, 1, 0, 1]、[1, 0, 0, ・・・・0, 0, 0,]・・ ]]
31
+ [ID]と[VAL]を[data]としてlistに-->[[1, 0, 1,・・・・0, 1, 0, 1, 0, 1]、[1, 0, 0, ・・・・0, 0, 0,]・・ ]]
32
32
 
33
- CLSをlabelとしてlistに[[0],[1],[0],・・・・・・]]
33
+ [CLS]をlabelとして[list]に-->[[0],[1],[0],・・・・・・]]
34
34
 
35
35
  Datasetでは、　returnで　data,label　を１組ずつ返してます。
36
36
 

2

csvの中身について追記しました。説明不足ですみません。

2020/10/06 14:41

投稿

mn.py
mn.py

スコア41

test CHANGED
File without changes
test CHANGED
@@ -1,6 +1,38 @@
1
1
  # DataLoaderのふるまいの正解がわからない
2
2
 
3
3
  PyTorchで自作のDetasetを作ってDataLoaderに渡して中身の確認をしています。
4
+
5
+ CSVの中身です。
6
+
7
+ ID CLS VAL (VALに０、１が４０個入っています)
8
+
9
+ 0 0 1,0,0,0,0,0,0,1,0,0,0,1,0,0,1,1,1,0,1,1,1,1,1,0
10
+
11
+ 1 0 1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,1,1,0,1,0,1,1,1,0
12
+
13
+ 2 1 1,0,0,0,1,0,0,0,0,0,0,1,0,0,1,0,1,0,0,1,0,1,1,0
14
+
15
+ 3 0 1,0,0,0,0,0,0,0,0,0,0,1,1,0,1,1,1,0,1,1,1,0,1,0
16
+
17
+ 4 0 1,0,0,1,0,0,0,1,0,0,0,1,1,0,1,1,0,0,1,1,1,1,1,0
18
+
19
+ ... ... ...
20
+
21
+ 995 0 1,0,0,1,0,0,0,1,0,0,0,1,1,0,1,1,1,0,1,1,1,1,1,0
22
+
23
+ 996 1 1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,0,0,0,1,0,1,0,1,0
24
+
25
+ 997 0 1,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,1,0,0,0,1,1,0,0
26
+
27
+ 998 1 1,0,0,0,0,0,0,1,0,0,0,1,1,0,1,0,1,0,0,1,1,1,0,0
28
+
29
+ 999 1 1,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,0,1,0,1,1,0,0,0
30
+
31
+ IDとVALをdataとしてlistに[[1, 0, 1, 0, 0, ・・・・0, 1, 0, 1, 0, 1]、[1, 0, 0, ・・・・0, 0, 0,]・・ ]]
32
+
33
+ CLSをlabelとしてlistに[[0],[1],[0],・・・・・・]]
34
+
35
+ Datasetでは、　returnで　data,label　を１組ずつ返してます。
4
36
 
5
37
 
6
38
 

1

文章を直しました

2020/10/06 14:28

投稿

mn.py
mn.py

スコア41

test CHANGED
File without changes
test CHANGED
@@ -22,7 +22,7 @@
22
22
 
23
23
  datasizeは４０個の要素が入ったdata１０００個あるとして、
24
24
 
25
- 下記のように40このベクトルがbatch_size=2なので２セットになって５００セット返ってくることをイメージしてたのですが、
25
+ 下記のように40このベクトルがbatch_size=2なので２組になって、５００セット返ってくることをイメージしてたのですが、
26
26
 
27
27
  [[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],1.0]・・・・（×data数分）
28
28