質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.35%
深層学習

深層学習は、多数のレイヤのニューラルネットワークによる機械学習手法。人工知能研究の一つでディープラーニングとも呼ばれています。コンピューター自体がデータの潜在的な特徴を汲み取り、効率的で的確な判断を実現することができます。

PyTorch

PyTorchは、オープンソースのPython向けの機械学習ライブラリ。Facebookの人工知能研究グループが開発を主導しています。強力なGPUサポートを備えたテンソル計算、テープベースの自動微分による柔軟なニューラルネットワークの記述が可能です。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

コードレビュー

コードレビューは、ソフトウェア開発の一工程で、 ソースコードの検査を行い、開発工程で見過ごされた誤りを検出する事で、 ソフトウェア品質を高めるためのものです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

0回答

1096閲覧

cifar10の精度向上のためにネットワーク層を改造してみたが、中身の構造が理解できない

oinari03

総合スコア59

深層学習

深層学習は、多数のレイヤのニューラルネットワークによる機械学習手法。人工知能研究の一つでディープラーニングとも呼ばれています。コンピューター自体がデータの潜在的な特徴を汲み取り、効率的で的確な判断を実現することができます。

PyTorch

PyTorchは、オープンソースのPython向けの機械学習ライブラリ。Facebookの人工知能研究グループが開発を主導しています。強力なGPUサポートを備えたテンソル計算、テープベースの自動微分による柔軟なニューラルネットワークの記述が可能です。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

コードレビュー

コードレビューは、ソフトウェア開発の一工程で、 ソースコードの検査を行い、開発工程で見過ごされた誤りを検出する事で、 ソフトウェア品質を高めるためのものです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2020/09/28 06:15

編集2020/10/01 02:34

やりたいこと

以下の記事を参考にしてcifar10の精度向上を測ったところ80%を超える精度を確認できた
該当記事

しかし、わからない該当箇所などを調べたり使い方なんかを見ていましたが、自分の無知かつググり力のなさからこの構造がどうなっているのかが理解できないので、ある程度の解説をしていただけるとありがたいと思っています。

該当ソースコード(ネットワーク部分のみ)

class Net(nn.Module): def __init__(self, input_size, num_class): super(Net, self).__init__() self.conv1 = nn.Conv2d(3, 64, 3) self.bn1 = nn.BatchNorm2d(64) self.conv2 = nn.Conv2d(64, 64, 3) self.conv3 = nn.Conv2d(64, 64, 3) self.do1 = nn.Dropout2d(p=0.3) self.pool = nn.MaxPool2d(2, 2) self.conv4 = nn.Conv2d(64, 128, 3) self.bn2 = nn.BatchNorm2d(128) self.conv5 = nn.Conv2d(128, 128, 3) self.conv6 = nn.Conv2d(128, 128, 3) #self.pool = nn.Maxpool2d(2,2) self.conv7 = nn.Conv2d(128, 256, 3) self.conv8 = nn.Conv2d(256, 256, 3) self.conv9 = nn.Conv2d(256, 256, 3) #self.pool = nn.Maxpool2d(2,2) self.conv10 = nn.Conv2d(256,100,1) self.bn3 = nn.BatchNorm2d(256) self.conv11 = nn.Conv2d(100, 10, 4) self.zeropad = nn.ConstantPad2d(1, 0) def forward(self, x): x = F.relu(self.conv1(self.zeropad(x)))#32*32 x = self.bn1(x) x = F.relu(self.conv2(self.zeropad(x))) x = self.do1(x) x = self.pool(F.relu(self.conv3(self.zeropad(x))))#16*16 x = F.relu(self.conv4(self.zeropad(x))) x = self.bn2(x) x = self.do1(x) x = F.relu(self.conv5(self.zeropad(x))) x = self.pool(F.relu(self.conv6(self.zeropad(x))))#8*8 x = F.relu(self.conv7(self.zeropad(x))) x = self.bn3(x) x = self.do1(x) x = F.relu(self.conv8(self.zeropad(x))) x = self.pool(F.relu(self.conv9(self.zeropad(x))))#4*4 x = self.bn3(x) x = self.do1(x) x = F.relu(self.conv10(x)) x = self.conv11(x) x = x.view(-1, 10) return x net = Net(32,10).to(device) #Netクラスのインスタンスを生成、to(device)でどこで計算するかを指定 summary(net, (3, 32, 32)) # ネットワークのサマリを出力

疑問点(解消したいこと)

全部を全部というわけにもいかないので、以下に主な疑問点をまとめました。
すべてでなくて構いませんのでどうかよろしくお願いします

<主な疑問点>
<initにおいて>
・conv1,bn1,conv2ときたらconv3,そしてdo1,ここでpool
というように並びに法則性がなく、どういうタイミングでbn、doなどを入れるべきなのかわかりません。
・batchnorm2dやdropoutの使う意味や、どういう使い方をすればいいのかがわかりません。

・最後にself.zeropad = nn.ConstantPad2d(1,0)
と入れていますが、どういう意図でこの関数を使うのかがわかりません

<forwardにおいて>
基本的にinitとつながるところがあります。
・zeropad →conv1 → relu → bn1 と来たと思ったら、次では、zeropad →conv2 → relu → do1 と来ています。疑問です。
このときの流れというか、やっぱりbachnorm2d,doropoutの使うタイミングや使用方法がわからないです。
・そのあとのなんかは、bn2→do1とつながっていたりします。もう訳が分かりません。

自分なりに調べたこと

・batchnorm2d
・dropout
・ConstantPad2d
この辺がわからなかったので調べてみました。
こちらの記事でbatchnorm2dとdropoutについては何となくわかりましたが、今回の構造でどう働いているのかがわからないです。
公式document
batchnorm2d
dropout
ConstantPad2d

文法上、関数の使い方はわかりましたが今回の構造では、どこにどう組み込めばいいのかわかりません

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.35%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問