質問編集履歴
2
追加
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -75,3 +75,7 @@
|
|
|
75
75
|
```
|
|
76
76
|
|
|
77
77
|
を実行しても同じようにセッションがクラッシュしてしまいます。
|
|
78
|
+
|
|
79
|
+
|
|
80
|
+
|
|
81
|
+
画像のサイズが1024x1024なのですが大きすぎるでしょうか？
|
1
変更
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -16,54 +16,6 @@
|
|
|
16
16
|
|
|
17
17
|
|
|
18
18
|
|
|
19
|
-
train = []
|
|
20
|
-
|
|
21
|
-
test = []
|
|
22
|
-
|
|
23
|
-
|
|
24
|
-
|
|
25
|
-
for f in glob.glob("/content/drive/MyDrive/chest x-ray/dataset 3/train/*.jpeg"):
|
|
26
|
-
|
|
27
|
-
img_data = tf.io.read_file(f)
|
|
28
|
-
|
|
29
|
-
img_data = tf.io.decode_jpeg(img_data)
|
|
30
|
-
|
|
31
|
-
train.append(img_data)
|
|
32
|
-
|
|
33
|
-
|
|
34
|
-
|
|
35
|
-
for f in glob.glob("/content/drive/MyDrive/chest x-ray/dataset 3/test/*.jpeg"):
|
|
36
|
-
|
|
37
|
-
img_data = tf.io.read_file(f)
|
|
38
|
-
|
|
39
|
-
img_data = tf.io.decode_jpeg(img_data)
|
|
40
|
-
|
|
41
|
-
test.append(img_data)
|
|
42
|
-
|
|
43
|
-
|
|
44
|
-
|
|
45
|
-
train_df = pd.read_csv("/content/drive/MyDrive/chest x-ray/dataset 3/train.csv")
|
|
46
|
-
|
|
47
|
-
test_df = pd.read_csv("/content/drive/MyDrive/chest x-ray/dataset 3/test.csv")
|
|
48
|
-
|
|
49
|
-
sample_submission = pd.read_csv("/content/drive/MyDrive/chest x-ray/dataset 3/sample_submission.csv")
|
|
50
|
-
|
|
51
|
-
|
|
52
|
-
|
|
53
|
-
le = LabelEncoder()
|
|
54
|
-
|
|
55
|
-
encoded = le.fit_transform(train_df['disease'].values)
|
|
56
|
-
|
|
57
|
-
|
|
58
|
-
|
|
59
|
-
x_train, x_valid, y_train, y_valid = train_test_split(train, encoded, random_state=42)
|
|
60
|
-
|
|
61
|
-
|
|
62
|
-
|
|
63
|
-
Xy_data = (x_train, x_valid, y_train, y_valid)
|
|
64
|
-
|
|
65
|
-
np.save("/content/drive/MyDrive/chest x-ray/dataset 3/Xy_data.npy", Xy_data)
|
|
66
|
-
|
|
67
19
|
|
|
68
20
|
|
|
69
21
|
x_train, x_valid, y_train, y_valid = np.load("/content/drive/MyDrive/chest x-ray/dataset 3/Xy_data.npy", allow_pickle=True)
|
|
@@ -78,8 +30,48 @@
|
|
|
78
30
|
|
|
79
31
|
y_valid = np.array(y_valid)
|
|
80
32
|
|
|
33
|
+
|
|
34
|
+
|
|
35
|
+
Xy_data = (x_train, x_valid, y_train, y_valid)
|
|
36
|
+
|
|
37
|
+
np.save("/content/drive/MyDrive/image/Xy_data0.npy", Xy_data)
|
|
38
|
+
|
|
81
39
|
```
|
|
82
40
|
|
|
41
|
+
|
|
42
|
+
|
|
43
|
+
google colab proを使っています。特にエラーコードはなくセッションがクラッシュしましたと言われて再起動します。
|
|
44
|
+
|
|
45
|
+
|
|
46
|
+
|
|
47
|
+
|
|
48
|
+
|
|
83
|
-
上のコードを実行すると、
|
|
49
|
+
上のコードを実行すると、np.save("/content/drive/MyDrive/image/Xy_data0.npy", Xy_data) の部分でセッションがクラッシュしてしまいます。
|
|
84
50
|
|
|
85
51
|
どのようにすればクラッシュせずに実行できますか？
|
|
52
|
+
|
|
53
|
+
自分はデータがメモリを消費するため、一回一回データを変えた後にセーブさせようとしています。
|
|
54
|
+
|
|
55
|
+
また、np.save("/content/drive/MyDrive/image/Xy_data0.npy", Xy_data)のコードを実行せずにモデルを作るコード下のような
|
|
56
|
+
|
|
57
|
+
```python
|
|
58
|
+
|
|
59
|
+
model = tf.keras.models.Sequential([
|
|
60
|
+
|
|
61
|
+
tf.keras.layers.Flatten(input_shape=(1024, 1024, 1)),
|
|
62
|
+
|
|
63
|
+
tf.keras.layers.Dense(64, activation='relu'),
|
|
64
|
+
|
|
65
|
+
tf.keras.layers.Dropout(0.2),
|
|
66
|
+
|
|
67
|
+
tf.keras.layers.Dense(2, activation='softmax')
|
|
68
|
+
|
|
69
|
+
])
|
|
70
|
+
|
|
71
|
+
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
|
|
72
|
+
|
|
73
|
+
model.fit(x_train, y_train, epochs=10)
|
|
74
|
+
|
|
75
|
+
```
|
|
76
|
+
|
|
77
|
+
を実行しても同じようにセッションがクラッシュしてしまいます。
|