ゼロつくの3.6「手書き数字認識」をcolabで実装するには

Question

実現したいこと

『ゼロから作るDeepLearnig』をcolabで実装したい

• p76の手書き数字認識に関して

前提

（例）
ゼロからをcolabで実装しているのですが、エラーが出てしまいます。
調べた限り以下のサイトが見つかったのですが、これをどうすればいいのかわからなくて
https://marshmallow444.github.io/tech_blog/2021/08/09/zero-tsuku-chpt3.html

発生している問題・エラーメッセージ

#54行でエラーが出ています
shapes (784,) and (2,3) not aligned: 784 (dim 0) != 2 (dim 0)

ValueError                                Traceback (most recent call last)
<ipython-input-107-f1108bf38dc3> in <module>
      1 accuracy_cnt = 0
      2 for i in range(len(x)):
----> 3   y = predict(network, x[1])
      4 # 最も確率の高い要素のインデックスを取得
      5   p = np.argmax(y)

<ipython-input-104-6332fa5fc513> in predict(nework, x)
     12   b1, b2, b3 = network['b1'], network['b2'], network['b3']
     13 
---> 14   a1 = np.dot(x, W1) + b1
     15   z1 = sigmoid(a1)
     16   a2 = np.dot(z1, W2) +b2

<__array_function__ internals> in dot(*args, **kwargs)

ValueError: shapes (784,) and (2,3) not aligned: 784 (dim 0) != 2 (dim 0)

該当のソースコード

# googleドライブへの接続（テキストに記載なし）
from google.colab import drive
drive.mount('/content/drive')
# パスの指定(テキストに記載なし)
import sys
sys.path.append('/content/drive/My Drive/zero_to_deep-learning/dataset')
from mnist import load_mnist
from PIL import Image
from IPython.display import display

def img_show(img):
    pil_img = Image.fromarray(np.uint8(img))
    display(pil_img)

(x_train, t_train), (x_test,y_test) = load_mnist(flatten=True, normalize=False)

img = x_train[0]
label = t_train[0]
print(label)
print(img.shape)
img = img.reshape(28,28)
print(img.shape)

img_show(img)

def get_data():
  (x_train, t_train), (x_test, y_test) = load_mnist(normalize=True, flatten=True, one_hot_label=False) 
  return x_test, y_test
def init_neteork():
# pickleファイルに格納されているファイルに格納されているsample_weight.pklに保存された学習済み重みパラメータを読み込む
  with open("sample_weight.pkl", 'rb')as f:
    network = pickle.load(f)
  return network

def predict(nework, x): 
  W1, W2, W3 = network['W1'], network['W2'], network['W3']
  b1, b2, b3 = network['b1'], network['b2'], network['b3']

  a1 = np.dot(x, W1) + b1
  z1 = sigmoid(a1)
  a2 = np.dot(z1, W2) +b2
  z2 = sigmoid(a2)
  a3 = np.dot(z2, W3) +b3
  y = softmax(a3)

  return y

# 性能を評価
x, t = get_data()
network = init_network()

accuracy_cnt = 0
for i in range(len(x)):
  y = predict(network, x[1])
# 最も確率の高い要素のインデックスを取得
  p = np.argmax(y)
  if p == t[i]:
    accuracy_cnt += 1

print("Accuracy:" + str(float(accuracy_cnt)/len(x)))

試したこと

https://marshmallow444.github.io/tech_blog/2021/08/09/zero-tsuku-chpt3.html
このサイトに書いてある、いろいろなところに挿入して試したのですが成功しませんでした。
shapeが違くて、行列の計算ができないためにエラーが出ているというところは理解できていますが、
どの行列と行列が違うのか、どうすれば行列のshapeを変換できるのかが分かりません。

補足情報（FW/ツールのバージョンなど）

ゼロつくは第８版です。
基本的にはゼロつく通りにコードを書いています。
環境はmacbookのM1で、safariを使用しています。
本来はanacondaでじっこうするものらしいのですが、
colabでやっていて、データの接続などが変わっていると思います。

Comments

[meg_]

> #54行でエラーが出ています
> shapes (784,) and (2,3) not aligned: 784 (dim 0) != 2 (dim 0)
抜粋ではなくエラーメッセージ全文を掲載ください。（ユーザー名は隠してもらってOKです）上記だけではpredict関数のどこでエラーが発生したのか分かりません。

[meg_]

質問のコードは「NameError: name 'np' is not defined」が発生しますが、これは「import numpy as np」の記載漏れということで良いでしょうか？

「NameError: name 'init_network' is not defined」も発生しました。こちらのコードも追記いただけませんか？

[TsubakiTsubasa]

コメントありがとうございます、申し訳ございません。
プログラムに関してはど素人で、こういった質問をするのも初めてなので、お手数をおかけします。
npのエラーに関しては、事前のインポートしています。

init_networkに関しては自分も理解できていないので、よく分かってはいませんが、ゼロつくのgithub
https://github.com/oreilly-japan/deep-learning-from-scratch
をダウンロードして、ドライブにあげています。

自分の認識なので間違っているかもしれまんがgithubの中にあらかじめ学習されたニューラルネットワークがあるらしく、それをインポートしているのだと思います。

[TsubakiTsubasa]

ライブラリに関しては、
import numpy as np
import matplotlib.pylab as plt
も入れております。
あとはANDゲートやNANDゲートを定義しただけで特に問題ないと思います。

[TsubakiTsubasa]

すみません、伝え忘れてましたが、質問を編集して、エラーコードを追加しておきました。
あと素人の質問でほんとに申し訳ないのですが、自分のエラーコードはユーザー名は隠せていますでしょうか。
ほんとに初心者なので、何がないかわからない状態です。お手数をおかけして申し訳ございません

[meg_]

書籍のgithubにあるコードと質問のコードを組み合わせたところでは質問のエラーは発生しないですね。
エラーが発生する行の直前に「print(f'x.shape={x.shape}, W1.shpe={W1.shape}')」を挿入して実行すると何が表示されますか？

[meg_]

sample_weight.pkl は https://github.com/oreilly-japan/deep-learning-from-scratch/tree/master/ch03 からダウンロードしたもので間違いないでしょうか？

[TsubakiTsubasa]

以下のようなエラーになりました
x.shape=(10000, 784), W1.shpe=(2, 3)
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
<ipython-input-39-a691d664334e> in <module>
2 for i in range(len(x)):
3 print(f'x.shape={x.shape}, W1.shpe={W1.shape}')
----> 4 y = predict(network, x[1])
5 # 最も確率の高い要素のインデックスを取得
6 p = np.argmax(y)

<ipython-input-37-afe61ea3081c> in predict(nework, x)
12 b1, b2, b3 = network['b1'], network['b2'], network['b3']
13
---> 14 a1 = np.dot(x, W1) + b1
15 z1 = sigmoid(a1)
16 a2 = np.dot(z1, W2) +b2

<__array_function__ internals> in dot(*args, **kwargs)

ValueError: shapes (784,) and (2,3) not aligned: 784 (dim 0) != 2 (dim 0)

[TsubakiTsubasa]

間違いないと思います。このURLのcodeを押して、Download ZIPを押してダウンロードされたファイルをそのままグーグルドライブに上げました。
https://github.com/oreilly-japan/deep-learning-from-scratch
一つ気になるのが、31行目の
with open("sample_weight.pkl", 'rb')as f:
32 network = pickle.load(f)
なのですが、自分の認識では、with open("ファイル名",’意味がわからない’）as 名前
だとおおもうのですが、このアイル名はパスを書いた方がよろしいのでしょうか

[meg_]

エラーとは関係ないのですが、
y = predict(network, x[1])　は
y = predict(network, x[i])　ではありませんか？

こちらでは
print(f'x.shape={x.shape}, W1.shpe={W1.shape}')　で下記が表示されます。
x.shape=(784,), W1.shpe=(784, 50)

Colabotoryを起動しなおして実行しても同じ結果でしょうか？モデル自体はpklファイルを読み込んでいるだけなので、重み（W1）の形が違うのは不可解です。

[TsubakiTsubasa]

y = predict(network, x[i])に関しては読み間違いでした、ありがとうございます。
再度上記のURLでダウンロードし直して、再アップロードして新しいcolabでやってみました。

上記のコードをコピーしてやってみました。(numpyはインストールしました。)
再アップロードの関係で六行目のコードが
sys.path.append('/content/drive/My Drive/zero_to_deep-learning/dataset')
sys.path.append('/content/drive/My Drive/deep-learning-from-scratch-master/dataset')
に変更になりました（deep-learning-from-scratch-masterがファイル名です）
すると、以下のエラーに変わりました。
---------------------------------------------------------------------------
NameError Traceback (most recent call last)
<ipython-input-8-f149c185c2fa> in <module>
1 # 性能を評価
2 x, t = get_data()
----> 3 network = init_network()
4 accuracy_cnt = 0
5 for i in range(len(x)):

NameError: name 'init_network' is not defined

[meg_]

from neuralnet_mnist import init_network
を追加すると良いかと思います。

[TsubakiTsubasa]

以下のようなエラーが出ます。どうすれば良いでしょうか
---------------------------------------------------------------------------
ModuleNotFoundError Traceback (most recent call last)
<ipython-input-39-4891fea008b3> in <module>
1 # 性能を評価
----> 2 from neuralnet_mnist import init_network
3 x, t = get_data()
4 network = init_network()
5 accuracy_cnt = 0

/content/drive/My Drive/deep-learning-from-scratch-master/ch03/neuralnet_mnist.py in <module>
4 import numpy as np
5 import pickle
----> 6 from dataset.mnist import load_mnist
7 from common.functions import sigmoid, softmax
8

ModuleNotFoundError: No module named 'dataset'

[meg_]

https://github.com/oreilly-japan/deep-learning-from-scratch
上記にあるdatasetフォルダーをアップロードしてください。

[TsubakiTsubasa]

上記のコードからアップロードし直しましたが、相変わらず同じエラーが発生します。
パスの指定はこちらで間違い無いのでしょうか
drive.mount('/content/drive')
import sys
sys.path.append('/content/drive/My Drive/deep-learning-from-scratch-master/dataset')

[TsubakiTsubasa]

sys.path.append()
ここで、with open("sample_weight.pkl", 'rb')as f:の”sample_weight.pkl”がある場所の
パスを指定するという理解で良いのでしょうか。

[jbpb0]

> このURLのcodeを押して、Download ZIPを押してダウンロードされたファイルをそのままグーグルドライブに上げました。
https://github.com/oreilly-japan/deep-learning-from-scratch

「ダウンロードされたファイル」はZIPファイルのはずですが、そのZIPファイルを「そのまま」google driveにアップロードしたのでしょうか？

それとも、ダウンロードしたZIPファイルをローカルパソコンで解凍したら、たくさんのファイルやディレクトリが入ってるディレクトリができますが、そのディレクトリを(中のファイルやディレクトリを全部含めて)google driveにアップロードしたのでしょうか？

[jbpb0]

> ModuleNotFoundError: No module named 'dataset'

sys.path.append('/content/drive/My Drive/deep-learning-from-scratch-master/dataset')
↓ 変更
sys.path.append('/content/drive/My Drive/deep-learning-from-scratch-master')

です

下記も必要だと思います

from mnist import load_mnist
↓ 変更
from dataset.mnist import load_mnist

[jbpb0]

> with open("ファイル名",’意味がわからない’）as 名前
だとおおもうのですが、このアイル名はパスを書いた方がよろしいのでしょうか

!ls -l

を実行して「sample_weight.pkl」が有るなら、「with open("sample_weight.pkl", 'rb') as f:」とファイル名を書くだけで読み込めるはず

もし、上記を実行して「sample_weight.pkl」が無いなら、

%cd /content/drive/My Drive/deep-learning-from-scratch-master/ch03

のようにして、「sample_weight.pkl」が有る場所にカレントディレクトリを移してください
(行頭は「!」ではなく「%」です)

[TsubakiTsubasa]

コメントありがとうございます。ファイルに関してはそのままアップロードしました。
最近MacBookを購入したのでまだ仕様を把握してないのですが、パソコン上で中身を確認できるので、
解凍できていると思います
sys.path.appendのパスを変更すると以下のようなエラーが出ました。
---------------------------------------------------------------------------
NameError Traceback (most recent call last)
<ipython-input-11-138fc8f4a27e> in <module>
6 print(img.shape)
7
----> 8 img_show(img)

<ipython-input-8-e2973be05260> in img_show(img)
10
11 def img_show(img):
---> 12 pil_img = Image.fromarray(np.uint8(img))
13 display(pil_img)

NameError: name 'Image' is not defined

[TsubakiTsubasa]

!ls -lを実行すると、以下のようになりました。
total 8
drwx------ 5 root root 4096 Feb 9 12:28 drive
drwxr-xr-x 1 root root 4096 Feb 7 14:38 sample_data
これはsample_weight.pklがあるという状況になっているのでしょうか。

一応、withopenをパスを指定した場合でやったのですが、
name 'init_network' is not defined
のエラーが出ました

[jbpb0]

> これはsample_weight.pklがあるという状況になっているのでしょうか。

なってません
「drive」と「sample_data」しかありませんよね

前のコメントにも書きましたが、

%cd /content/drive/My Drive/deep-learning-from-scratch-master/ch03
!ls -l

を実行したら、「sample_weight.pkl」というファイルが表示されるはずです

その状態なら、「with open("sample_weight.pkl", 'rb') as f:」とファイル名を書くだけで読み込めるはず

[jbpb0]

> NameError: name 'Image' is not defined

from PIL import Image

を実行し忘れたのでは？

> name 'init_network' is not defined

def init_neteork():
(中略)
return network

を実行し忘れたのでは？

[TsubakiTsubasa]

実行す忘れというのは無いと思います。順に実行しているので
%cd /content/drive/My Drive/deep-learning-from-scratch-master/ch03
!ls -l
の通りに実行しても、同じように出力されます。
ドライブのアップロードの段階で何かしているのだと思います。
詳しいことはよく分かりませんが、とりあえずは、jbpb0さんの助言の
　%cd /content/drive/My Drive/deep-learning-from-scratch-master/ch03
　のようにして、「sample_weight.pkl」が有る場所にカレントディレクトリを移してください
を参考にして、動きました。
色々親身に相談にのってくださって誠にありがとうございました。

Answer 1

もう一度テキストや、ネットを参考に調べたらうまくいきました。
以下コードになります。

import numpy as np
import matplotlib.pylab as plt
from google.colab import drive
drive.mount('/content/drive', force_remount=True)
import sys
sys.path.append('/content/drive/My Drive/deep-learning-from-scratch-master/')
from dataset.mnist import load_mnist
from PIL import Image
from IPython.display import display
def img_show(img):
    pil_img = Image.fromarray(np.uint8(img))
    pil_img.show()
(x_train, t_train), (x_test, t_test) = load_mnist(flatten=True, normalize=False)
sys.path.append(os.pardir)
img = x_train[0]
label = t_train[0]
print(label)

print(img.shape)
img = img.reshape(28, 28)
print(img.shape)
def sigmoid(x):
  return 1/(1 + np.exp(-x))
def softmax(a):
    c = np.max(a)
    exp_a = np.exp(a - c)
    sum_exp_a = np.sum(exp_a)
    y = exp_a/sum_exp_a

    return y
from binascii import a2b_base64
from typing_extensions import NewType
def get_data():
  (x_train, t_train), (x_test, t_test) = load_mnist(normalize=True, flatten=True, one_hot_label=False)
  return x_test, t_test

import pickle
def init_network():
  with open("/content/drive/My Drive/deep-learning-from-scratch-master/ch03/sample_weight.pkl", 'rb') as f:
    network = pickle.load(f)
  return network

def predict(network, x):
  W1, W2, W3 = network['W1'], network['W2'], network['W3']
  b1, b2, b3 = network['b1'], network['b2'], network['b3']

  a1 = np.dot(x, W1) +b1
  z1 = sigmoid(a1)
  a2 = np.dot(z1, W2) +b2
  z2 = sigmoid(a2)
  a3 = np.dot(z2, W3) +b3
  y = softmax(a3)

  return y
x, t = get_data()
network = init_network()

accuracy_cnt = 0
for i in range(len(x)):
  y = predict(network, x[i])
  p = np.argmax(y)
  if p == t[i]:
    accuracy_cnt +=1
print("Accuracy:" + str(float(accuracy_cnt)/len(x)))

変更点としては、
・drive.mountにforce_remountを追加したのと、
・sys.path.appendのパスをファイル名までに変更
・mnistをdataset.mnistに
・with openのファイル名をそのまま指定しました。
以上になるかと思います。

なぜそうなるのかは分かりませんが、ひとまず解決したのでよかったです。
初めての質問で、質問の仕方がわからなかったり、少し緊張したのですが、
meg_さんとjbpb0さんが親身にご回答していただき大変助かりました。
本当にありがとうございました。