画像分割の仕組みについて

Question

from google.colab import drive
drive.mount('/content/drive')

import sys
import numpy as np

sys.path.append('/content/drive/My Drive')

import ActivationFunction as AF
from PIL import Image

# PILで開いたうえでデータをNumpy形式にする
# （例えばJPEGは圧縮されていてNumpyな配列になっていないので、
# そこからNumpyのデータ空間(?)に持ってくる必要がある）
tefilename = "test2.png"
teimg = Image.open("drive/My Drive/mnist_dataset/" + tefilename)
teimg = teimg.resize((10, 10))
teimg = np.asarray(teimg)

size = 5

v_split = img.shape[0] // size
h_split = img.shape[1] // size
out_img = []
[out_img.extend(np.hsplit(h_img, h_split))
    for h_img in np.vsplit(img, v_split)]

plt.subplot(17, 6, 1).imshow(out_img[1])
plt.subplot(17, 6, 2).imshow(out_img[2])
plt.subplot(17, 6, 3).imshow(out_img[3])
plt.subplot(17, 6, 4).imshow(out_img[4])
plt.subplot(17, 6, 5).imshow(out_img[5])
plt.subplot(17, 6, 6).imshow(out_img[6])
plt.subplot(17, 6, 7).imshow(out_img[7])
plt.subplot(17, 6, 8).imshow(out_img[8])
plt.subplot(17, 6, 9).imshow(out_img[9])
plt.subplot(17, 6, 10).imshow(out_img[10])
plt.subplot(17, 6, 11).imshow(out_img[11])
plt.subplot(17, 6, 12).imshow(out_img[12])
plt.subplot(17, 6, 13).imshow(out_img[13])
plt.subplot(17, 6, 14).imshow(out_img[14])
plt.subplot(17, 6, 15).imshow(out_img[15])
plt.subplot(17, 6, 16).imshow(out_img[16])
plt.subplot(17, 6, 17).imshow(out_img[17])
plt.subplot(17, 6, 18).imshow(out_img[18])
plt.subplot(17, 6, 19).imshow(out_img[19])
plt.subplot(17, 6, 20).imshow(out_img[20])
plt.subplot(17, 6, 21).imshow(out_img[21])
plt.subplot(17, 6, 22).imshow(out_img[22])
plt.subplot(17, 6, 23).imshow(out_img[23])
plt.subplot(17, 6, 24).imshow(out_img[24])
plt.subplot(17, 6, 25).imshow(out_img[25])
plt.subplot(17, 6, 26).imshow(out_img[26])
plt.subplot(17, 6, 27).imshow(out_img[27])
plt.subplot(17, 6, 28).imshow(out_img[28])
plt.subplot(17, 6, 29).imshow(out_img[29])
plt.subplot(17, 6, 30).imshow(out_img[30])
plt.subplot(17, 6, 31).imshow(out_img[31])
plt.subplot(17, 6, 32).imshow(out_img[32])

def extract(x, y):
    # カラー画像の時Gだけ抜き取りたい
    if len(x.shape) == 3:
        h, w, ch = x.shape

    # RGBのGだけ抜き取りたい
    return x[:,:,y]

v_max, v_min = 300, 200

def diff(x):
    imgrows, lenrows, imgcolumns, lencolumns = [], [], [], []
    for (img, imgt) in zip(x, x.T):
        rows = img[(v_min<img)&(v_max>img)]
        columns = imgt[(v_min<imgt)&(v_max>imgt)]
        imgrows.append(rows)
        lenrows.append(len(rows))
        imgcolumns.append(columns)
        lencolumns.append(len(columns))
    return lenrows + lencolumns

test_data_list = []

test_data_list.append([0] + diff(extract(teimg, 1)) + diff(extract(teimg, 2))  + diff(extract(teimg, 0))) # 略

print("test_data_list[0][1:]" ,test_data_list[0][1:])
print("test_data_list" ,test_data_list)

# 見本データに対しても同様に
# exについて同様に
training_data_list = []

for i in range(10):
    for e in range(1):
        trad = Image.open("drive/My Drive/mnist_dataset/" + str(10*i+e) + ".png")
        trad = trad.resize((10, 10))
        trad = np.asarray(trad)
        #g #b #r 抽出後diffしてappend
        training_data_list.append([i] + diff(extract(trad, 1)) + diff(extract(trad, 2))  + diff(extract(trad, 0))) # 略

print("training_data_list" ,training_data_list)
print("training_data_list[1:]" ,training_data_list[1:])

# 3層ニューラルネットワーク
class ThreeLayerNetwork:
    # コンストラクタ
    def __init__(self, inodes, hnodes, onodes, lr):
        # 各レイヤーのノード数
        self.inodes = inodes
        self.hnodes = hnodes
        self.onodes = onodes

        # 学習率
        self.lr = lr

        # 重みの初期化
        self.w_ih = np.random.normal(0.0, 1.0, (self.hnodes, self.inodes))
        self.w_ho = np.random.normal(0.0, 1.0, (self.onodes, self.hnodes))

        # 活性化関数
        self.af = AF.sigmoid
        self.daf = AF.derivative_sigmoid

    # 誤差逆伝搬
    def backprop(self, idata, tdata):

        # 縦ベクトルに変換
        o_i = np.array(idata, ndmin=2).T
        t = np.array(tdata, ndmin=2).T

        # 隠れ層
        np.set_printoptions(threshold=10000)
        x_h = np.dot(self.w_ih, o_i)
        o_h = self.af(x_h)

        # 出力層
        x_o = np.dot(self.w_ho, o_h)
        o_o = self.af(x_o)

        # 誤差計算
        e_o = (t - o_o)
        e_h = np.dot(self.w_ho.T, e_o)

        # 重みの更新
        self.w_ho += self.lr * np.dot((e_o * self.daf(o_o)), o_h.T)
        self.w_ih += self.lr * np.dot((e_h * self.daf(o_h)), o_i.T)


    # 順伝搬
    def feedforward(self, idata):
        # 入力のリストを縦ベクトルに変換
        o_i = np.array(idata, ndmin=2).T

        # 隠れ層
        x_h = np.dot(self.w_ih, o_i)
        o_h = self.af(x_h)

        # 出力層
        x_o = np.dot(self.w_ho, o_h)
        o_o = self.af(x_o)

        return o_o

if __name__=='__main__':
    # パラメータ
    #inodes=784から59+1に変更
    inodes = 60
    hnodes = 100
    onodes = 10
    lr = 0.3

    # ニューラルネットワークの初期化
    nn = ThreeLayerNetwork(inodes, hnodes, onodes, lr)

    # 学習
    epoch = 50000
    for e in range(epoch):
        print('#epoch ', e)
        data_size = len(training_data_list)
        for i in range(data_size):
            if i % 1000 == 0:
                print('  train: {0:>5d} / {1:>5d}'.format(i, data_size))
            idata = (np.array(training_data_list[i][1:]) / 255.0 * 0.99) + 0.01
            # 変更の余地あり
            tdata = np.zeros(onodes) + 0.01
            tdata[training_data_list[i][0]] = 0.99
            nn.backprop(idata, tdata)
            pass
        pass

    # テスト
    scoreboard = []
    for record in test_data_list:
        idata = (np.array(test_data_list[0][1:]) / 255.0 * 0.99) + 0.01
        predict = nn.feedforward(idata)
        plabel = np.argmax(predict)
        print("predict" ,predict)
        print("plabel" ,plabel)
        pass

    scoreboard_array = np.asarray(scoreboard)
    print('performance: ', scoreboard_array.sum() / scoreboard_array.size)

この学習とテストについて、ここで、あらかじめ用意しておいた（が使っていない）
分割画像out_img[0],out_img[1],out_img[2],out_img[3],・・・,out_img[20]？（100,100resizeして5で分割してるから20個あります・・・よね？）

しかしplt.subplot(17, 6, 32).imshow(out_img[32])と、32まで出してもエラーが出ないんですが、なぜでしょう？

Comments

[1T2R3M4]

ご自分で書いたコードではないのですか。

[quickquip]

コードがこれだと
v_split = img.shape[0] // size
の行でimgのNameErrorが起きるはず。

動かしているコードが別のものだった、などを疑うべき。
（他にはJupyter等で動かしていて、これより前に動かしたコードがあった、とか）

[jbpb0]

v_split = img.shape[0] // size

imgって？
teimgはあるけど

> 100,100resizeして

どこで？
teimg = teimg.resize((10, 10))
はあるけど

[jbpb0]

仮に、teimgとimgが同じもので、
teimg = teimg.resize((10, 10))
ではなく
> 100,100resizeして
をやってるとして、imgが100x100のデータなら、縦横それぞれを
100//5=20
に分割するのだから、分割後のout_imgは、

> 20個あります・・・よね？

ではなくて、20x20=400ある

> 32まで出してもエラーが出ないんですが、なぜでしょう？

400あるから
(本当に実行してるコード次第ですが)

plt.subplot(17, 6, 1).imshow(out_img[1])
の上に
print(len(out_img))
を追加したら、out_imgがいくつあるか分かる

[ques346]

別のものだったかも知れません、いずれにせよ、
10,10でも25個あるんですねなるほど。

[jbpb0]

> 10,10でも25個ある

縦横それぞれを
10//5=2
に分割だから、2x2=4しかない

何個に分けるのかはv_split, h_splitです
sizeではない

[ques346]

確かに

[quickquip]

質問のコードと本分のつじつまがあってないからどういうことなの? って言われているのに「確かに」とは……?

Answer 1

teimgとimgが同じもので、
teimg = teimg.resize((10, 10))
ではなく

100,100resizeして

をやってるとして、imgが100x100のデータなら、縦横それぞれを
100//5=20
に分割するのだから、分割後のout_imgは、

20個あります・・・よね？

ではなくて、20x20=400ある

32まで出してもエラーが出ないんですが、なぜでしょう？

400あるから
(本当に実行してるコード次第ですが)

plt.subplot(17, 6, 1).imshow(out_img[1])

の上に

print(len(out_img))

を追加したら、out_imgがいくつあるか分かる