質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.47%
Chainer

Chainerは、国産の深層学習フレームワークです。あらゆるニューラルネットワークをPythonで柔軟に書くことができ、学習させることが可能。GPUをサポートしており、複数のGPUを用いた学習も直感的に記述できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Q&A

1回答

567閲覧

chainerの学習時に起きる次元数のエラー

sankaku_360

総合スコア6

Chainer

Chainerは、国産の深層学習フレームワークです。あらゆるニューラルネットワークをPythonで柔軟に書くことができ、学習させることが可能。GPUをサポートしており、複数のGPUを用いた学習も直感的に記述できます。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

0グッド

0クリップ

投稿2017/12/17 08:31

###前提・実現したいこと
python及びchainer初心者のものですが、150個のラベルを持ったデータを教師データとして
CNNを使った学習を行おうとしているのですが、以下のようなエラーが出てしまい、行き詰まってしまいました
ご教授お願い致します。

###発生している問題・エラーメッセージ

Invalid operation is performed in: Convolution2DFunction (Forward) Expect: in_types[0].ndim == 4 Actual: 3 != 4

###該当のソースコード

python

1import numpy as np 2import matplotlib.pylab as plt 3from matplotlib import cm 4import chainer 5from chainer import Chain, optimizers, training 6from chainer.training import extensions 7import chainer.functions as F 8import chainer.links as L 9from sklearn.datasets import fetch_mldata 10from gensim.models import word2vec 11from gensim import corpora, models, similarities 12from chainer import cuda 13import cupy 14 15cuda.get_device_from_id(0).use() 16 17vector_D=300 18S_length=150 19N_data = 28732 20#word2vecのデータをロード 21w2v_model = word2vec.Word2Vec.load("sample.model") 22 23# 学習データ作成 24count =0 25f = open('learning_data.txt','r' ,encoding='utf-8_sig') 26data = f.readlines() 27dataset = [] #最終的なデータセットの格納場所 28picture = np.zeros((S_length,vector_D)) #文章を画像と見たときの画像の格納場所 29label = np.zeros(S_length) 30pict_data=[] 31label_data=[] 32#pict_data=np.zeros(28732) #画像データをまとめてここに保存 33#label_data=np.zeros(28732) 34empty = [] 35zero = np.zeros(vector_D) #空ピクセル 36q=0 37pictcount=0 38labelcount=0 39for text in data: 40 a = count%3 41 b = (count+2)%3 42 if a == 0: 43 sentense=data[count].split() 44 for i in range(S_length): 45 n = len(sentense) 46 if n > i: 47 word = sentense[i] 48 vector=w2v_model[word] 49 for vectordimension in range(vector_D): 50 picture[i][vectordimension]=vector[vectordimension] 51 else : 52 for vectordimension in range(vector_D): 53 picture[i][vectordimension]=0 54 pict_data.append(picture) 55 #pict_data[pictcount] = picture 56 #pictcount=pictcount+1 57 if b == 0: 58 label_txt = data[count] 59 label_txt=label_txt.replace('[','') 60 label_txt=label_txt.replace(']','') 61 z = label_txt.split(',') 62 for x in range(S_length): 63 a = int(z[x]) 64 label[x] = a 65 66 label_data.append(label) 67 #label_data[labelcount] = label 68 #labelcount = labelcount+1 69 q=0 70 count=count+1 71 72 73for x, t in zip(pict_data, label_data): 74 dataset.append((x, t)) 75 76 77# 畳み込みニューラルネットワーク 78 79# モデルクラス定義 80 81class CNN(Chain): 82 def __init__(self): 83 # クラスの初期化 84 super(CNN, self).__init__( 85 conv1 = L.Convolution2D(1, 20, 5), # フィルター5 86 conv2 = L.Convolution2D(20, 50, 5), # フィルター5 87 l1 = L.Linear(800, 500), 88 l2 = L.Linear(500, 500), 89 l3 = L.Linear(500, 150) 90 ) 91 92 def __call__(self, x): 93 # 順伝播の計算を行う関数 94 # :param x: 入力値 95 h1 = F.max_pooling_2d(F.relu(self.conv1(x)), 2) 96 h2 = F.max_pooling_2d(F.relu(self.conv2(h1)), 2) 97 h3 = F.relu(self.l1(h2)) 98 h4 = F.relu(self.l2(h3)) 99 y = self.l3(h4) 100 return y 101 102# 学習 103 104EPOCH_NUM = 5 105BATCH_SIZE = 100 106 107N = len(dataset) 108print(N) 109# モデルの定義 110model = L.Classifier(CNN(),F.sigmoid_cross_entropy) 111optimizer = optimizers.Adam() 112optimizer.setup(model) 113 114# 学習開始 115print("Train") 116train, test = chainer.datasets.split_dataset_random(dataset, N-1000) # 60000件を学習用、10000件をテスト用 117train_iter = chainer.iterators.SerialIterator(train, BATCH_SIZE) 118test_iter = chainer.iterators.SerialIterator(test, BATCH_SIZE, repeat=False, shuffle=False) 119updater = training.StandardUpdater(train_iter, optimizer, device=-1) 120trainer = training.Trainer(updater, (EPOCH_NUM, "epoch"), out="result") 121trainer.extend(extensions.Evaluator(test_iter, model, device=-1)) 122trainer.extend(extensions.LogReport()) 123trainer.extend(extensions.PrintReport( ["epoch", "main/loss", "validation/main/loss", "main/accuracy", "validation/main/accuracy", "elapsed_time"])) # エポック、学習損失、テスト損失、学習正解率、テスト正解率、経過時間 124trainer.extend(extensions.ProgressBar()) # プログレスバー出力 125print("Train Start!") 126trainer.run() 127print("Train finish!") 128 129 130

###試したこと

###補足情報(言語/FW/ツール等のバージョンなど)
chainerのバージョンは3.1です

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

picture = np.zeros((S_length,vector_D))とありますので、添字の数が足りていません。Conv2Dを行うためには3つ添字が必要です。

pictureにwordを入れていますが、何かのコードをご自身のデータに沿うように変更しているのでしょうか。

投稿2017/12/17 08:42

mkgrei

総合スコア8560

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

sankaku_360

2017/12/17 10:58

はい。pictureには文字をベクトルに変えた分散表現を入れております。 追加で質問をしたいことがあるのですが、sigmoid_cross_entropyの部分で 同じようなエラーが発生しました。同じ次元数に関わる問題だと思うのですが、 肝心の部分が Actual: f != i と変数になっているので対応の仕方が分かりません。 できれば、教えていただけると助かります。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.47%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問