質問編集履歴

最初の質問時には、tensorflow.jsを使用していました。今ではtensorflow.jsを使用していません。

2020/12/02 15:07

投稿

TakeshiSue

スコア1

test CHANGED Viewed

	@@ -1 +1 @@
1	- tensorflo~~w.js~~で~~分類問題を学習中~~、~~minimizeで重みが~~NaNになるの~~を回避し~~たい
1	+ console.log()で表示される値が、それより下の行の関数の有無によってNaNになるか否かが変わるのがなぜなのか、教えていただきたいです。

test CHANGED Viewed

@@ -2,17 +2,37 @@
-JavaScriptとtensorflow.jsを使い、word2vecを作ろうとしています。
+JavaScriptを使い、word2vecを作ろうとしています。
+console.log()で表示される内容が、それよりも下の行に、とある自作の関数があるかないかで変わってしまいます。
+その関数がある場合には要素がすべてNaNになった配列が、その関数がない場合には意図したとおりの数字を要素とした配列が、console.log()で表示されます。
+> console.log(w1);
+console.log(w2);
+document.write(w1)
+document.write('<br>↑w1<br>')
+document.write(w2)
+document.write('<br>↑w2<br>')
+trainWord()　//26行をコメントアウトすると、w1,w2がconsole.log()上でNaNになることがない。trainWordの奥深く、94行だけをコメントアウトしても、w1,w2がconsole.log()上でNaNになることがない。
+下記のソースコード26行目（trainWord()）をコメントアウトするとw1,w2がconsole.log()でもdocument.write()でも意図したとおりの数字を表示します。
-optimizer.minimize(() => loss(predict(anIndex), oneHotVector[vectoredText[i]]));
+26行目があると、w1,w2がconsole.log()上で要素がNaNになります。しかし、document.write()では意図した数字を表示します。
-ここを越えると、重み行列w1,w2の中身がすべてNaNになってしまいます。
-NaNになってしまう原因と、NaNになることを防ぐ方法を、教えていただけますでしょうか。
+trainWord()関数がそれより上の行のconsole.log()の結果に干渉しているのはなぜなのか、教えていただきたいです。
@@ -38,143 +58,269 @@
 <button type="button" class="controler" id="start" onclick="startClicked()">Start</button>
-<script src="https://cdn.jsdelivr.net/npm/@tensorflow/tfjs@1.0.0/dist/tf.min.js"></script>
 <script>
+//startボタンを押すと、テキストエリアの内容について、辞書化から教育までが、行われる。
+function startClicked(){
+	text = document.getElementById('enterYourCode').value;
+	makeDictionary(text);
+	makeVectoredText();
+	oneHotVector = makeOneHotVector(dictionary.length);
+	w1 = createW(dictionary.length, hiddenSize);
+	w2 = createW(hiddenSize, dictionary.length);
+	console.log(w1);
+	console.log(w2);
+	document.write(w1)
+	document.write('<br>↑w1<br>')
+	document.write(w2)
+	document.write('<br>↑w2<br>')
+	trainWord()　//26行をコメントアウトすると、w1,w2がconsole.log()上でNaNになることがない。trainWordの奥深く、94行だけをコメントアウトしても、w1,w2がconsole.log()上でNaNになることがない。
+};
+//基本的な関数の宣言
+//合計
+var sum  = function(arr) {
+    return arr.reduce(function(prev, current, i, arr) {
+        return prev+current;
+    });
+};
+//行列の積
+function dot(a, b) {
+  var aNumRows = a.length
+  var aNumCols = a[0].length
+  var bNumRows = b.length
+  var bNumCols = b[0].length
+  m = new Array(aNumRows);  // initialize array of rows
+  for (var r = 0; r < aNumRows; ++r) {
+    m[r] = new Array(bNumCols); // initialize the current row
+    for (var c = 0; c < bNumCols; ++c) {
+      m[r][c] = 0;             // initialize the current cell
+      for (var i = 0; i < aNumCols; ++i) {
+        m[r][c] += a[r][i] * b[i][c];
+      }
+    }
+  }
+  return m;
+}
+//ソフトマックス関数
+function softMax(array){
+	return array.map(element => Math.exp(element)/sum(array.map(element => Math.exp(element))))
+}
+//w1で使用するランダムな重みを作るための関数
+function rnorm(){
+    return Math.sqrt(-2 * Math.log(1 - Math.random())) * Math.cos(2 * Math.PI * Math.random());
+}
 //各種変数の宣言
-var hiddenSize = 300;
-var text = undefined
-var dictionary = undefined
-var textSplit = undefined
-var oneHotVector = null
-var w1 = undefined
-var w2 = undefined
-var vectoredText = undefined
-const predict = anIndex => tf.tensor(oneHotVector[vectoredText[anIndex]]).dot(w1).dot(w2).softmax();
-const loss = function(onehotLabel,logits){return tf.losses.softmaxCrossEntropy(onehotLabel,logits)};
-const learningRate = 0.01;
-const optimizer = tf.train.adam(learningRate);
-//w1で使用するランダムな重みを作るための関数
-function rnorm(){
-    return Math.sqrt(-2 * Math.log(1 - Math.random())) * Math.cos(2 * Math.PI * Math.random());
+var hiddenSize = 3; //隠れ層の数。本来は300
+var text = undefined　//もととなる文章
+var dictionary = undefined //文章に出てきた単語から、重複するものを除いたもの
+var textSplit = undefined //もととなる文章を、単語ごとの区切りで配列にしたもの
+var oneHotVector = null //辞書に表れる単語を、ワンホットベクトルで表したもの
+var w1 = undefined //1層目の重み
+var w2 = undefined //2層目の重み
+var vectoredText = undefined //単語で区切った文章を、ワンホットベクトル上のインデックスで表したもの
+const learningRate = 0.01; //学習率
+const epsilon = 0.00100000001; //微分に使用する極めて小さい数
+function predict(foo,weight1,weight2){//foo には anIndex　が入る予定
+	let b = []
+	b[0]= oneHotVector[vectoredText[foo]]
+	let inputToHidden = dot(b,weight1);
+	let HiddenToOutput = dot(inputToHidden,weight2)
+	return softMax(HiddenToOutput[0])
+	}
+function loss(foo,logits){//foo  には anIndex　が入る予定, logits には predict()が入る予定
+	let resultVector = oneHotVector[vectoredText[foo]].map(x => x)
+	for(let i = 0; i<resultVector.length; i = i+1){
+		resultVector[i] = resultVector[i]*Math.log(logits[i]) //94行をコメントアウトすると、console.log()でw1,w2がNaNになることがない。
+	}
+	return -1*sum(resultVector)};
+//入力されたテキストから、１回の単語が１回のみ表れる辞書を作る。ただし、所有格の’sは' `s'として、1つの単語として扱う。
+function makeDictionary(){
+	let aposS = /'s/g;
+	let regex = /.|'|"|\,/g;
+	textSplit = text.toLowerCase().replace(aposS,' `s').replace(regex,' ').split(' ');
+	dictionary =[]
+	for(let i = 0; i < textSplit.length ; i = i+1){
+	    if(dictionary.includes(textSplit[i])){
+	        let j = textSplit.length;
+	        textSplit = textSplit.filter(arg => arg !=textSplit[i]);
+	        i = i - (j-textSplit.length);
+	    } else {
+            dictionary.push(textSplit[i]);
+	    };
+	};
+	return null;
 }
-//入力されたテキストから、１回の単語が１回のみ表れる辞書を作る。ただし、所有格の’sは' `s'として、1つの単語として扱う。
+//辞書に対応するワンホットベクトルを、対角成分が１の対角行列として作る
-function makeDictionary(){
+function makeOneHotVector(number){
-	let aposS = /'s/g;
+	let matrix= [...Array(number)]
-	let regex = /.|'|"|\,/g;
-	textSplit = text.toLowerCase().replace(aposS,' `s').replace(regex,' ').split(' ');
-	dictionary =[]
-	for(let i = 0; i < textSplit.length ; i = i+1){
+	for(let i = 0; i < number; i = i +1){
-	    if(dictionary.includes(textSplit[i])){
-	        let j = textSplit.length
-	        textSplit = textSplit.filter(arg => arg !=textSplit[i])
+		matrix[i] = [...Array(number)].map(arg => 0);
-	        i = i - (j-textSplit.length)
-	    } else {
-            dictionary.push(textSplit[i]);
+		matrix[i][i] = 1;
-	    };
 	};
+	 return matrix;
+	};
+//テキストに現れる単語を、その単語の辞書内でのインデックスに突き合わせることで、テキストをもとにしたベクトルを作る。
+function makeVectoredText(){
+	vectoredText = []
+	textSplit.forEach(element => vectoredText.push(dictionary.indexOf(element)));
 	return null;
 }
-//辞書に対応するワンホットベクトルを、対角成分が１の対角行列として作る
+//インプットサイズ（is）とアウトプットサイズ(os)をもとに、重みを表現する行列を作る。
-function makeOneHotVector(number){
+function createW(inputSize, outputSize){
-	let matrix= [...Array(number)]
-	for(let i = 0; i < number; i = i +1){
-		matrix[i] = [...Array(number)].map(arg => 0);
+	return  [...Array(inputSize)].map(() => [...Array(outputSize)].map(() => rnorm()/Math.sqrt(inputSize)));
-		matrix[i][i] = 1;
 	};
-	 return matrix;
-	};
-//テキストに現れる単語を、その単語の辞書内でのインデックスに突き合わせることで、テキストをもとにしたベクトルを作る。
-function makeVectoredText(){
-	vectoredText = []
-	textSplit.forEach(element => vectoredText.push(dictionary.indexOf(element)));
-	return null;
-}
-//インプットサイズ（is）とアウトプットサイズ(os)をもとに、重みを表現する行列を作る。
-function createW(is, os){
-	let matrix= [...Array(is)]
-	for(let i = 0; i < is; i = i +1){
-		matrix[i] = [...Array(os)].map(() => rnorm()/Math.sqrt(is));
-	};
-	 return tf.variable(tf.tensor(matrix));
-	};
 //textの(実際にはvectoredTextの)最初の単語から、windowサイズ5で、教育を行う。
 function trainWord(){
-	for(i=0; i <= vectoredText.length-1 ; i= i+1){
+	for(let i=0; i <= vectoredText.length-1 ; i= i+1){
 		// target = makeOneHotVector[vectoredText[i]]
@@ -184,27 +330,65 @@
 		for(anIndex of indicesAroundTarget){
+			let copyOfW1 = w1.map(x => x);
+			let copyOfW2 = w2.map(x => x);
+			let newW1 = w1.map(x => x);
+			let newW2 = w2.map(x => x);
+			afterThen();
+			w1 = newW1.map(x => x);
+			w2 = newW2.map(x => x);
+			function afterThen(){
-/*
+			//w1の学習
-			document.write(i+ 'th iteration. anIndex is ' + anIndex +'<br>' )
-			document.write(tf.tensor(oneHotVector[vectoredText[anIndex]]).dot(w1).dot(w2).softmax()+'<br>')
-			document.write(predict(anIndex)+' is (predict(anIndex))<br>')
+				for(let j = 0; j < newW1.length; j = j+1){
-			document.write(oneHotVector[vectoredText[i]]+' is oneHotVector[vectoredText[i]]<br>')
-			document.write(loss(predict(anIndex), oneHotVector[vectoredText[i]])+' is loss(predict(anIndex), oneHotVector[vectoredText[i]])<br>')
-			document.write(w1+ ' is w1<br>')
+					for(let k = 0; k < newW1[j].length; k = k+1){
+						let interimW1 = w1.map(x => x);
+						interimW1[j][k] = interimW1[j][k]+epsilon;
+						newW1[j][k] = interimW1[j][k]-learningRate*( loss(anIndex,predict(anIndex,interimW1,w2) - loss(anIndex,predict(anIndex,w1,w2))))/epsilon;
+					}
+				}
+				//ｗ２の学習
+				for(let j = 0; j < newW2.length; j = j+1){
-			document.write(w2+ ' is w2<br>')
+					for(let k = 0; k < newW2[j].length; k = k+1){
-*/
+						let interimW2 = w2.map(x => x);
-			//minimizeを行うと、w１とw２の要素の値がNaNになる。
+						interimW2[j][k] = interimW2[j][k]+epsilon;
-			optimizer.minimize(() => loss(predict(anIndex), oneHotVector[vectoredText[i]]));
+						newW2[j][k] = interimW2[j][k]-learningRate*( loss(anIndex,predict(anIndex,w1,interimW2) - loss(anIndex,predict(anIndex,w1,w2))))/epsilon;
+					}
+				}
+				return null
+			}
 		}
@@ -214,34 +398,6 @@
-//startボタンを押すと、テキストエリアの内容について、辞書化から教育までが、行われる。
-function startClicked(){
-	text = document.getElementById('enterYourCode').value
-	makeDictionary(text);
-	makeVectoredText()
-	oneHotVector = makeOneHotVector(dictionary.length)
-	//hidden layer size = 300
-	w1 = createW(dictionary.length, hiddenSize)
-	w2 = createW(hiddenSize, dictionary.length)
-	trainWord()
-	};
 </script>
@@ -250,6 +406,4 @@
 </html>
 ```