自分でニューラルネットワークを作ろうのプログラムをGoogleCollaboratoryで動かしたい。

Question

https://qiita.com/takahiro_itazuri/items/d2bea1c643d7cca11352
プログラムはここを参考にしたのですが、以下そのまま転載。

from google.colab import drive
drive.mount('/content/drive')

import sys
sys.path.append('/content/drive/My Drive/colab')

import numpy as np
import ActivationFunction as AF

# 3層ニューラルネットワーク
class ThreeLayerNetwork:
    # コンストラクタ
    def __init__(self, inodes, hnodes, onodes, lr):
        # 各レイヤーのノード数
        self.inodes = inodes
        self.hnodes = hnodes
        self.onodes = onodes

        # 学習率
        self.lr = lr

        # 重みの初期化
        self.w_ih = np.random.normal(0.0, 1.0, (self.hnodes, self.inodes))
        self.w_ho = np.random.normal(0.0, 1.0, (self.onodes, self.hnodes))

        # 活性化関数
        self.af = AF.sigmoid
        self.daf = AF.derivative_sigmoid

    # 誤差逆伝搬
    def backprop(self, idata, tdata):
        # 縦ベクトルに変換
        o_i = np.array(idata, ndmin=2).T
        t = np.array(tdata, ndmin=2).T

        # 隠れ層
        x_h = np.dot(self.w_ih, o_i)
        o_h = self.af(x_h)

        # 出力層
        x_o = np.dot(self.w_ho, o_h)
        o_o = self.af(x_o)

        # 誤差計算
        e_o = (t - o_o)
        e_h = np.dot(self.w_ho.T, e_o)

        # 重みの更新
        self.w_ho += self.lr * np.dot((e_o * self.daf(o_o)), o_h.T)
        self.w_ih += self.lr * np.dot((e_h * self.daf(o_h)), o_i.T)


    # 順伝搬
    def feedforward(self, idata):
        # 入力のリストを縦ベクトルに変換
        o_i = np.array(idata, ndmin=2).T

        # 隠れ層
        x_h = np.dot(self.w_ih, o_i)
        o_h = self.af(x_h)

        # 出力層
        x_o = np.dot(self.w_ho, o_h)
        o_o = self.af(x_o)

        return o_o

if __name__=='__main__':
    # パラメータ
    inodes = 784
    hnodes = 100
    onodes = 10
    lr = 0.3

    # ニューラルネットワークの初期化
    nn = ThreeLayerNetwork(inodes, hnodes, onodes, lr)

    # トレーニングデータのロード
    training_data_file = open('mnist_dataset/mnist_train.csv', 'r')
    training_data_list = training_data_file.readlines()
    training_data_file.close()

    # テストデータのロード
    test_data_file = open('mnist_dataset/mnist_test.csv')
    test_data_list = test_data_file.readlines()
    test_data_file.close()

    # 学習
    epoch = 10
    for e in range(epoch):
        print('#epoch ', e)
        data_size = len(training_data_list)
        for i in range(data_size):
            if i % 1000 == 0:
                print('  train: {0:>5d} / {1:>5d}'.format(i, data_size))
            val = training_data_list[i].split(',')
            idata = (np.asfarray(val[1:]) / 255.0 * 0.99) + 0.01
            tdata = np.zeros(onodes) + 0.01
            tdata[int(val[0])] = 0.99
            nn.backprop(idata, tdata)
            pass
        pass

    # テスト
    scoreboard = []
    for record in test_data_list:
        val = record.split(',')
        idata = (np.asfarray(val[1:]) / 255.0 * 0.99) + 0.01
        tlabel = int(val[0])
        predict = nn.feedforward(idata)
        plabel = np.argmax(predict)
        scoreboard.append(tlabel == plabel)
        pass

    scoreboard_array = np.asarray(scoreboard)
    print('performance: ', scoreboard_array.sum() / scoreboard_array.size)

これをそのままGoogleCollaboratoryにコピペして実行しても、

Drive already mounted at /content/drive; to attempt to forcibly remount, call drive.mount("/content/drive", force_remount=True).

ModuleNotFoundError Traceback (most recent call last)
<ipython-input-5-21a5c5cca7e6> in <module>()
6
7 import numpy as np
----> 8 import ActivationFunction as AF
9
10 # 3層ニューラルネットワーク

ModuleNotFoundError: No module named 'ActivationFunction'

---

NOTE: If your import is failing due to a missing package, you can
manually install dependencies using either !pip or !apt.

To view examples of installing some common dependencies, click the
"Open Examples" button below.

と出ます、どうすれば良いでしょうか？

また、パスは
https://blog.mktia.com/file-access-from-colab-to-google-drive/
ここを参考に、そのまま書きました、そのままなので間違ってると思います。

デスクトップ上ではできます。

できました、ありがとうございます、以下にコード書きます、皆さん使ってみて下さい。

import sys

from google.colab import drive
drive.mount('/content/drive')

sys.path.append('/content/drive/My Drive')

import numpy as np
import ActivationFunction as AF

# 3層ニューラルネットワーク
class ThreeLayerNetwork:
    # コンストラクタ
    def __init__(self, inodes, hnodes, onodes, lr):
        # 各レイヤーのノード数
        self.inodes = inodes
        self.hnodes = hnodes
        self.onodes = onodes

        # 学習率
        self.lr = lr

        # 重みの初期化
        self.w_ih = np.random.normal(0.0, 1.0, (self.hnodes, self.inodes))
        self.w_ho = np.random.normal(0.0, 1.0, (self.onodes, self.hnodes))

        # 活性化関数
        self.af = AF.sigmoid
        self.daf = AF.derivative_sigmoid

    # 誤差逆伝搬
    def backprop(self, idata, tdata):
        # 縦ベクトルに変換
        o_i = np.array(idata, ndmin=2).T
        t = np.array(tdata, ndmin=2).T

        # 隠れ層
        x_h = np.dot(self.w_ih, o_i)
        o_h = self.af(x_h)

        # 出力層
        x_o = np.dot(self.w_ho, o_h)
        o_o = self.af(x_o)

        # 誤差計算
        e_o = (t - o_o)
        e_h = np.dot(self.w_ho.T, e_o)

        # 重みの更新
        self.w_ho += self.lr * np.dot((e_o * self.daf(o_o)), o_h.T)
        self.w_ih += self.lr * np.dot((e_h * self.daf(o_h)), o_i.T)


    # 順伝搬
    def feedforward(self, idata):
        # 入力のリストを縦ベクトルに変換
        o_i = np.array(idata, ndmin=2).T

        # 隠れ層
        x_h = np.dot(self.w_ih, o_i)
        o_h = self.af(x_h)

        # 出力層
        x_o = np.dot(self.w_ho, o_h)
        o_o = self.af(x_o)

        return o_o

if __name__=='__main__':
    # パラメータ
    inodes = 784
    hnodes = 100
    onodes = 10
    lr = 0.3

    # ニューラルネットワークの初期化
    nn = ThreeLayerNetwork(inodes, hnodes, onodes, lr)

    # トレーニングデータのロード
    training_data_file = open('drive/My Drive/mnist_dataset/mnist_train.csv', 'r')
    training_data_list = training_data_file.readlines()
    training_data_file.close()

    # テストデータのロード
    test_data_file = open('drive/My Drive/mnist_dataset/mnist_test.csv')
    test_data_list = test_data_file.readlines()
    test_data_file.close()

    # 学習
    epoch = 10
    for e in range(epoch):
        print('#epoch ', e)
        data_size = len(training_data_list)
        for i in range(data_size):
            if i % 1000 == 0:
                print('  train: {0:>5d} / {1:>5d}'.format(i, data_size))
            val = training_data_list[i].split(',')
            idata = (np.asfarray(val[1:]) / 255.0 * 0.99) + 0.01
            tdata = np.zeros(onodes) + 0.01
            tdata[int(val[0])] = 0.99
            nn.backprop(idata, tdata)
            pass
        pass

    # テスト
    scoreboard = []
    for record in test_data_list:
        val = record.split(',')
        idata = (np.asfarray(val[1:]) / 255.0 * 0.99) + 0.01
        tlabel = int(val[0])
        predict = nn.feedforward(idata)
        plabel = np.argmax(predict)
        scoreboard.append(tlabel == plabel)
        pass

    scoreboard_array = np.asarray(scoreboard)
    print('performance: ', scoreboard_array.sum() / scoreboard_array.size)
コード

Comments

[xail2222]

ActivationFunction.pyは作ったんですか？

[退会済みユーザー]

作ってdriveにupしたのですが、これ、googledriveにある他のpythonファイルを呼び出すにはどうすればいいんでしょうか・・・？

ひとまず頭に
from google.colab import drive
drive.mount('/content/drive')
をつけたのですが、importできてない・・・。

[meg_]

・パスは'/content/drive/My Drive/colab/ActivationFunction.py'ってことですか？
・質問のタイトルは質問内容が分かるものにしてください。

[quickquip]

自分がやった事を書きましょう。「あなたが参考にしたページ」は回答者があなたの問題を解決する手助けにはあまりなりません。
あと、情報はこの欄ではなく質問を編集して質問に載せましょう。

[meg_]

> ここを参考に、そのまま書きました、そのままなので間違ってると思います。
間違っているか合っているかはご自身しか分からないでしょう。
ActivationFunction.pyはgoogledriveの何処に保存されているんでしょうか？googlecolab上でActivationFunction.pyへのフルパスを確認しましょう。

[jbpb0]

> パスは
https://blog.mktia.com/file-access-from-colab-to-google-drive/
ここを参考に、そのまま書きました、そのままなので間違ってると思います。

間違ってると分かってるなら、まずそこを直しましょう
質問するのは、その後

[退会済みユーザー]

ActivationFunction.pyは、以前、画像をUPした時と同様にアップロードしたため、その時と同様に、
/content/drive
にあるはずです、
パスというのがよく分からないのですが、パスはどうかけば良いのでしょうか。

[quickquip]

「以前と同様に」が他人に伝わるように今の状況を質問に書きましょう

ActivationFunctionですか? と聞かれてなぜ、Active.pyは〜と答えてるんでしょう?

[jbpb0]

> /content/drive
にあるはず

「はず」じゃなくて、実際にそこにあるか確認する

参考
https://www.sejuku.net/blog/63568#i

Answer 1

調べた結果を記載します。

Google ColaboratoryでGoogle Drive上の.pyファイルをインポート

ここに

import sys
sys.path.append('/content/drive/My Drive/Colab/my_project/my_modules')

と書けばよいと書いてあり「Google Drive上の見かけと実際のディレクトリの構造が違う」と書いてありました。

で、実際のディレクトリ構造をどうなってるかを調べないといけないわけですが

import os
for folder, subfolders, files in os.walk('/content/drive'):
    print('folder: {}'.format(folder))
    print('subfolders: {}'.format(subfolders))
    print('files: {}'.format(files))
    print()

を実行してみてください。
すると/content/drive配下の構造がわかるかと思います。
これでActivationFunction.pyのある場所がわかると思うので
そのパスに対してsys.path.append()を実行すればインポートできると思います。

簡単なサンプルで私も確認してみましたが出来ました。

Comments

[退会済みユーザー]

Mounted at /content/drive
folder: /content/drive
subfolders: ['.file-revisions-by-id', '.shortcut-targets-by-id', 'MyDrive', '.Trash']
files: []

folder: /content/drive/.file-revisions-by-id
subfolders: []
files: []

folder: /content/drive/.shortcut-targets-by-id
subfolders: []
files: []

folder: /content/drive/MyDrive
subfolders: ['Colab Notebooks']
files: ['0.png', '1.png', '2.png', '3.png', '4.png', '5.png', '6.png', '7.png', '8.png', '9.png', '3h.png', '2h.png', 'ActivationFunction.py']

folder: /content/drive/MyDrive/Colab Notebooks
subfolders: []
files: ['ActivationFunction.py']

folder: /content/drive/.Trash
subfolders: []
files: []

[xail2222]

であれば
sys.path.append('/content/drive/My Drive/colab')
の箇所を
sys.path.append('/content/drive/MyDrive’)
もしくは
sys.path.append('/content/drive/MyDrive/Colab Notebooks')
に修正ですね。

どちらが正しいのかわからないですが
Googleドライブをみてフォルダ階層的に上側の方と下の方があると思いますが
上側が正しければ一つ目、下側が正しければ二つ目になるんじゃないでしょうか。

[退会済みユーザー]

はい、できました！

[退会済みユーザー]

質問にも追記しましたが、完成コードです、皆さん使ってみて下さい。

import sys

from google.colab import drive
drive.mount('/content/drive')

sys.path.append('/content/drive/My Drive')

import numpy as np
import ActivationFunction as AF

# 3層ニューラルネットワーク
class ThreeLayerNetwork:
# コンストラクタ
def __init__(self, inodes, hnodes, onodes, lr):
# 各レイヤーのノード数
self.inodes = inodes
self.hnodes = hnodes
self.onodes = onodes

# 学習率
self.lr = lr

# 重みの初期化
self.w_ih = np.random.normal(0.0, 1.0, (self.hnodes, self.inodes))
self.w_ho = np.random.normal(0.0, 1.0, (self.onodes, self.hnodes))

# 活性化関数
self.af = AF.sigmoid
self.daf = AF.derivative_sigmoid

# 誤差逆伝搬
def backprop(self, idata, tdata):
# 縦ベクトルに変換
o_i = np.array(idata, ndmin=2).T
t = np.array(tdata, ndmin=2).T

# 隠れ層
x_h = np.dot(self.w_ih, o_i)
o_h = self.af(x_h)

# 出力層
x_o = np.dot(self.w_ho, o_h)
o_o = self.af(x_o)

# 誤差計算
e_o = (t - o_o)
e_h = np.dot(self.w_ho.T, e_o)

# 重みの更新
self.w_ho += self.lr * np.dot((e_o * self.daf(o_o)), o_h.T)
self.w_ih += self.lr * np.dot((e_h * self.daf(o_h)), o_i.T)

# 順伝搬
def feedforward(self, idata):
# 入力のリストを縦ベクトルに変換
o_i = np.array(idata, ndmin=2).T

# 隠れ層
x_h = np.dot(self.w_ih, o_i)
o_h = self.af(x_h)

# 出力層
x_o = np.dot(self.w_ho, o_h)
o_o = self.af(x_o)

return o_o

if __name__=='__main__':
# パラメータ
inodes = 784
hnodes = 100
onodes = 10
lr = 0.3

# ニューラルネットワークの初期化
nn = ThreeLayerNetwork(inodes, hnodes, onodes, lr)

# トレーニングデータのロード
training_data_file = open('drive/My Drive/mnist_dataset/mnist_train.csv', 'r')
training_data_list = training_data_file.readlines()
training_data_file.close()

# テストデータのロード
test_data_file = open('drive/My Drive/mnist_dataset/mnist_test.csv')
test_data_list = test_data_file.readlines()
test_data_file.close()

# 学習
epoch = 10
for e in range(epoch):
print('#epoch ', e)
data_size = len(training_data_list)
for i in range(data_size):
if i % 1000 == 0:
print(' train: {0:>5d} / {1:>5d}'.format(i, data_size))
val = training_data_list[i].split(',')
idata = (np.asfarray(val[1:]) / 255.0 * 0.99) + 0.01
tdata = np.zeros(onodes) + 0.01
tdata[int(val[0])] = 0.99
nn.backprop(idata, tdata)
pass
pass

# テスト
scoreboard = []
for record in test_data_list:
val = record.split(',')
idata = (np.asfarray(val[1:]) / 255.0 * 0.99) + 0.01
tlabel = int(val[0])
predict = nn.feedforward(idata)
plabel = np.argmax(predict)
scoreboard.append(tlabel == plabel)
pass

scoreboard_array = np.asarray(scoreboard)
print('performance: ', scoreboard_array.sum() / scoreboard_array.size)