PyTorch / Terminalでコードを実行するもフリーズする

Question

#問題

PyTorchを用いたMNISTの文字画像認識のプログラムを以下の様に組み立てました。そのコードをTerminalで実行しようとするも、なかなかプログラムの結果が上の様な状態のまま、何十分と待っても待っても表示がありません。似たものとしてワインの分類を深層学習を使って解析するプログラムを同様に作った時は数秒でプログラムが実行されたので、何がいけなくて動いてくれないのだろう…といった状態に陥っています。随分と曖昧な質問ではありますが、どこかお力添え頂けるところが御座いましたら、宜しくお願い申し上げます。

#該当コード

import torch
from torch.autograd import Variable
import torch.nn
import torch.nn.functional 
import torch.optim
from torch.utils.data import TensorDataset, DataLoader

from sklearn import datasets
from sklearn.datasets import load_digits, fetch_openml
from sklearn.model_selection import train_test_split

import pandas as pd

from matplotlib import pyplot as plt 
from matplotlib import cm

import numpy as np

mnist=datasets.fetch_openml('mnist_784', version=1)
mnist_data=mnist.data/255
mnist_pre_labels=mnist.target
mnist_labels=mnist_pre_labels.astype(np.float64)

train_X, test_X, train_Y, test_Y=train_test_split(mnist_data, mnist_labels, train_size=5000, test_size=500)
train_X=torch.from_numpy(train_X).float()
train_Y=torch.from_numpy(train_Y).long()
test_X=torch.from_numpy(test_X).float()
test_Y=torch.from_numpy(test_Y).long()

train=TensorDataset(train_X, train_Y)
batches=DataLoader(train, batch_size=16, shuffle=True)

class Net(torch.nn.Module):
	def __init__(self):
		super(Net, self).__init__()
		self.fc1=torch.nn.Linear(784,256)
		self.fc2=torch.nn.Linear(256,256)
		self.fc3=torch.nn.Linear(256,256)
		self.fc4=torch.nn.Linear(256,128)
		self.fc5=torch.nn.Linear(128,128)
		self.fc6=torch.nn.Linear(128,10)

	def forward(self, x):
		x=torch.nn.functional.relu(self.fc1(x))
		x=torch.nn.functional.relu(self.fc2(x))
		x=torch.nn.functional.relu(self.fc3(x))
		x=torch.nn.functional.relu(self.fc4(x))
		x=torch.nn.functional.relu(self.fc5(x))
		x=torch.nn.functional.dropout(x, training=self.training)
		x=self.fc6(x)
		return torch.nn.functional.log_softmax(x, dim=1)

net=Net()

CEL=torch.nn.CrossEntropyLoss()
optimiser=torch.optim.SGD(net.parameters(), lr=0.01)
for epoch in range(1000):
	total_loss=0
	for train_x, train_y in batches:
		train_x, train_y=Variable(train_X), Variable(train_Y)
		optimiser.zero_grad()
		output=net(train_x)
		loss=CEL(output, train_y)
		loss.backward()
		optimiser.step()
		total_loss+=loss.data.item()
	if (epoch+1)%100==0:
		print(epoch+1, total_loss)

#環境
WiFiには正常に接続されています。
Python 3.8.3
Model: MacBook Pro13
Version: macOS 10.15.7

Comments

[tiitoi]

実行はされているけど処理に時間がかかっているだけなのか、実行がされていないのか切り分けたほうがいいと思います。
for epoch in range(1000): の中に適当な文字を print() で出力すれば処理中なのかどうか判断できると思います。

[kay_ventris4]

修正致しました。

[tiitoi]

for epoch in range(1000):
の次の行に print(epoch) を入れてそれでなにも表示されませんか？

[kay_ventris4]

いえ、print(epoch)では0~999までの数字が表示されました。しかし、上のコードを実行して再び1時間置いてみましたが、pcが熱くなる意外何も起きない状態が続いています。

[tiitoi]

> いえ、print(epoch)では0~999までの数字が表示されました

「0~999までの数字が表示された」「pcが熱くなる」という状況から実行はされているのではないでしょうか？

> 何も起きない状態が続いています。

上のコードを実行してどうなるのを期待しているのでしょうか？
for epoch in range(1000): の次の行に print(epoch) を入れると1, 2, ... と表示されたなら問題なく動いてます。

[kay_ventris4]

予定では、１００回ごとの学習回数に対しその時点での累積誤差が表示される予定です。実行がどんな形であれ完了したとすると、Terminal上では(base) KaynoMacBook-Pro:Wine ***$と新たに出てくるはずなのですが、今回はそれが出てこず実行中という様な状態で固まってしまいます。半日置かないといけない様なとてつもなく重い量の学習(1000回)をしているとも思えず、この程度のノード数(7つ)と学習データ(MNISTデータ70000件)で途方もない時間がかかるともまた思えなかったので…

[tiitoi]

if (epoch+1)%100==0: の行を消して毎エポック出力が出るようにしてはどうでしょうか。

> 途方もない時間がかかるともまた思えなかったので…

全結合ネットワークでパラメータ数が多いことと、Mac ということは、GPU ではなく CPU 実行ということで、ディープラーニングは CPU 実行の場合は非常に時間がかかります。MNISTはワインデータセットと比較して、次元数が60倍、サンプル数が350倍なのでワインデータセットよりより規模が大きいデータセットです。
最初の出力が出るまで、MNIST6万毎 x 100エポック / バッチサイズ16 = 37500イテレーション回さないといけないので、そこに至るまでに非常に時間がかかっているものと思われます。

[tiitoi]

手元で質問のコードを実行したら、Corei7 6700K 4.00GHz で1エポックあたり12秒かかりました。なので、最初の出力が表示されるまでに最低20分はかかることになります。
CPU の性能がそれ未満ならもっと時間がかかることになります。

[kay_ventris4]

epochを１回毎での表示に変更しました。
こちらの環境だと、３０分の放置で出来たのが３６回分の学習でした。１時間の実行じゃ１００回も出来るはずありませんでした。お手数おかけしまして、申し訳ございませんでした。

[tiitoi]

GPU ないとディープラーニングは時間的に厳しいので、用意できない場合は無料の Google Colab 使うといいですよ
https://colab.research.google.com/notebooks/welcome.ipynb?hl=ja
手元の RTX2080 だと1エポック1秒でした

[kay_ventris4]

Google Colabolatoryっていつ使うのだろうと思ったのですが、こっちじゃないとGPUが実装されていなかったのですね！勉強になりました。有難う御座いました。

Answer 1

100回の学習が終了するまでに、推測でおよそ1.5時間かかることがわかりました。一晩置くくらいのことでないと、1000件の学習は終わりそうにありません。