常連

注目の的

社会貢献

質問力

自己紹介

PSNRを使って超解像の評価をしたいのですが、うまく動きません。現在でているエラーが「local variable 'files' referenced before assignment」というエラーです。解決法がわかる方がいましたら、ご教示ください。以下が実装コードです。

```import os
import cv2
import numpy as np
import math

# ディレクトリ内の画像を読み込む
# inputpath: ディレクトリ文字列，imagesize: 画像サイズ, type_color: ColorかGray
def load_images(inputpath, imagesize, type_color):
    imglist = []

    for root, dirs, files in os.walk(inputpath):
        for fn in sorted(files):
            bn, ext = os.path.splitext(fn)
            if ext not in [".bmp", ".BMP", ".jpg", ".JPG", ".jpeg", ".JPEG", ".png", ".PNG"]:
                continue

            filename = os.path.join(root, fn)
            
            if type_color == 'Color':
                # カラー画像の場合
                testimage = cv2.imread(filename, cv2.IMREAD_COLOR)
                # サイズ変更
                height, width = testimage.shape[:2]
                testimage = cv2.resize(testimage, (imagesize, imagesize), interpolation = cv2.INTER_AREA)  #主に縮小するのでINTER_AREA使用
                testimage = np.asarray(testimage, dtype=np.float64)
                # チャンネル，高さ，幅に入れ替え．data_format="channels_first"を使うとき必要
                #testimage = testimage.transpose(2, 0, 1)
                # チャンネルをbgrの順からrgbの順に変更
                testimage = testimage[::-1]
            
            elif type_color == 'Gray':
                # グレースケール画像の場合
                testimage = cv2.imread(filename, cv2.IMREAD_GRAYSCALE)
                # サイズ変更
                height, width = testimage.shape[:2]
                testimage = cv2.resize(testimage, (imagesize, imagesize), interpolation = cv2.INTER_AREA)  #主に縮小するのでINTER_AREA使用
                # チャンネルの次元がないので1次元追加する
                testimage = np.asarray([testimage], dtype=np.float64)
                testimage = np.asarray(testimage, dtype=np.float64).reshape((1, imagesize, imagesize))
                # 高さ，幅，チャンネルに入れ替え．data_format="channels_last"を使うとき必要
                testimage = testimage.transpose(1, 2, 0)

            imglist.append(testimage)
    imgsdata = np.asarray(imglist, dtype=np.float32)

    return imgsdata, sorted(files)  # 画像リストとファイル名のリストを返す

def psnr(img1, img2):
    mse = np.mean( (img1 - img2) ** 2 )
    if mse == 0:
       return 100
    PIXEL_MAX = 255.0
    return 10 * math.log10(PIXEL_MAX / math.sqrt(mse))

imagelow = load_images(".\result1\8_gausian_4層_3186枚_epoch=30_k=3.png", 512, 'Gray')
imagehigh = load_images(".\HighImage\306.png", 512, 'Gray')

d = psnr(imagelow, imagehigh)
print("d =", d)

コード
```

エラー「local variable 'files' referenced before assignment」

JSONファイルに書き込んだモデル構造を読み込み、推論に使いたいです。


```python3
model_json_path = open(model_json_path).read()
model = model_from_json(model_json_path)

```

上のコードを実行すると、以下のエラーが出てしまい、先に進めません。

```
ValueError: Graph disconnected: cannot obtain value for tensor 
Tensor("input_1:0", shape=(?, 224, 224, 3), dtype=float32) at layer 
"input_1". The following previous layers were accessed without issue: []
```

input_1には、VGG16のInputLayerを自作のネットワークにVGG16を組み込むようにして使っています。どのようにして渡すとよいのでしょうか？

自作のネットワーク＝＞出力を正則化＝＞VGG16の入力
というネットワーク構成になっています。

どうすれば、JSONファイルを使い、このモデルを再構築できますか？

ps.「モデル」と「ネットワーク」はどのように使い分けるとよいのでしょうか？

JSONファイルからモデルを再構築したい

メルカリでこんな記事がありました

[メルカリに学ぶ深層学習基盤](http://kskbyt.hatenablog.jp/entry/2018/02/17/222015)
> inceptionV3の中間層から取り出した特徴デカすぎない？リアルタイムで計算できるの？
特徴はPCAで次元潰して計算コスト下げてる

[メルカリにおける AI 活用事例 PyCon JP 2018](https://speakerdeck.com/metalunk/merukariniokeru-ai-huo-yong-shi-li-pycon-jp-2018)



これに書いてあるのはinceptionv3の中間層から取り出した特徴ベクトルを、PCAで次元削減しているようです。
自分も試しにやって見たのですが、上手く行きません？

kerasのmodelに次元削減は無理なのでしょうか？

この中間層のベクトルを次元削減する手法はどのようにやるのかについて、何か参考になること、推論、資料なんでもいい良いので、知恵を貸していただけないでしょうか？


＝＞実験
```python

# tfrecordの場合
train_image, train_labels=distorted_input(filenames, batch_size=256, train=True)
train_image
>>><tf.Tensor 'Sub_1:0' shape=(256, 150, 150, 3) dtype=float32>
model= InceptionV3(include_top=False, weights=None, input_tensor=train_image, pooling='avg', classes=200)
model
>>> <keras.engine.training.Model at 0x1a325c4eb8>


# shape指定の場合
model= InceptionV3(include_top=False, weights=None, input_shape=(150,150,3), pooling='avg', classes=200)
model
>>> <keras.engine.training.Model at 0x1a38b6a208>

# 次元削減
pca = PCA(n_components=500)
pca.fit(model)

plt.plot(np.cumsum(pca.explained_variance_ratio_))

# エラー
TypeError                                 Traceback (most recent call last)
<ipython-input-11-ceb44ec0ea8f> in <module>()
      1 
      2 pca = PCA(n_components=500)
----> 3 pca.fit(model)
      4 
      5 plt.plot(np.cumsum(pca.explained_variance_ratio_))

/anaconda3/lib/python3.6/site-packages/sklearn/decomposition/pca.py in fit(self, X, y)
    327             Returns the instance itself.
    328         """
--> 329         self._fit(X)
    330         return self
    331 

/anaconda3/lib/python3.6/site-packages/sklearn/decomposition/pca.py in _fit(self, X)
    368 
    369         X = check_array(X, dtype=[np.float64, np.float32], ensure_2d=True,
--> 370                         copy=self.copy)
    371 
    372         # Handle n_components==None

/anaconda3/lib/python3.6/site-packages/sklearn/utils/validation.py in check_array(array, accept_sparse, dtype, order, copy, force_all_finite, ensure_2d, allow_nd, ensure_min_samples, ensure_min_features, warn_on_dtype, estimator)
    431                                       force_all_finite)
    432     else:
--> 433         array = np.array(array, dtype=dtype, order=order, copy=copy)
    434 
    435         if ensure_2d:

TypeError: float() argument must be a string or a number, not 'Model'
```

メルカリのCNN後の次元削減手法について

### 前提・実現したいこと

Pythonからjsonファイルへテキストの書き込みをしているのですが、思い通りいきません。
角括弧が必要ないところに入ってしまいます。

以下が実現したいことです
```ここに言語を入力
{
    "mid": 1,
    "mid": 2,
        [
            "mail",
            "password"
        ]
    "mid": 1
}
```

**追記**
以下の別のプログラムで使用する際に不便なので、今回このような質問をさせていただきました。
```
fin = open('loginmid.txt')
loginmid = fin.read()
fin.close()
f=codecs.open('loginsetting.json','r','utf-8')
loginsetting = json.load(f)
loset = loginsetting[loginmid]
if loset == 1:
    pass
if loset == 2:
    pass
if loset == 3:
    pass
```

### 発生している問題・現状

```
    "mid": 1,
    "mid": [
        2,
        [
            "mail",
            "password"
        ]
    ],
    "mid": 1,

```

### 該当のソースコード

```ここに言語名を入力
f=codecs.open('loginsetting.json','r','utf-8')
loginsetting = json.load(f)
sender = mid
msg.text = "2 mail password"
zz = msg.text.replace("2 ","")
ll = zz.split(" ")
loginsetting[sender] = 2,ll
f=codecs.open('loginsetting.json','w','utf-8')
json.dump(loginsetting, f, sort_keys=True, indent=4,ensure_ascii=False)
```

どなたか、原因の分かる方いらっしゃればご教授お願いします

### その後。。。
回答をいただき、二通りのことを考えました。

> まず、jsonへの記載の仕方を変える方法です。

こちら試して見たところ、文字列とリストを合わせることができずエラーが発生しました。

**エラー**
```
[ ERROR ] list indices must be integers or slices, not str
```

**理想**
```
{
    "mid":{
        "number": 1
    }
    "mid":{
        "number": 2,
        "mail": "mail",
        "password": "password"
    }
    "mid":{
        "number": 1
    }
}
```

**該当のソースコード**
```ここに言語名を入力
f=codecs.open('loginsetting.json','r','utf-8')
loginsetting = json.load(f)
sender = mid
msg.text = "2 mail password"
zz = msg.text.replace("2 ","")
ll = zz.split(" ")
mail = ll[0]
pas = ll[1]
loginsetting[sender]["number"] = 2
loginsetting[sender]["mail"] = mail
loginsetting[sender]["password"] = pas
f=codecs.open('loginsetting.json','w','utf-8')
json.dump(loginsetting, f, sort_keys=True, indent=4,ensure_ascii=False)
```

> そして次に回答に頂いた、現在に相応した判定方法に変えるやり方です

loset値が2だった場合の判定方法を分からず、悩んでおります。


```loginsetting
{
    "mid1": 1,
    "mid2": [
        2,
        [
            "mail",
            "password"
        ]
    ],
    "mid3": 1,
    "mid4": 1
}
```

```loginmid
mid2
```

```
fin = open('loginmid.txt')
loginmid = fin.read()
fin.close()
f=codecs.open('loginsetting.json','r','utf-8')
loginsetting = json.load(f)
print(loginsetting[loginmid])
if loginsetting[loginmid] == 1:
    pass
if loginsetting[loginmid] == 2:
    pass
if loginsetting[loginmid] == 3:
    pass
```

Pythonを使用したjsonへの書き込みについて

###質問
VGG16のモデルにおけるパラメータ数がどのように求められているのかを教えてください。
例えば、全結合層のひとつではパラメータ数が4096となっていますがそれはなぜなのでしょうか。
また最初の畳み込み層のパラメータ数は1792なのもなぜでしょうか。

よろしければ計算式を教えていただけると嬉しいです。

###参考
http://aidiary.hatenablog.com/entry/20170104/1483535144

VGG16モデルのパラメータ数について

invalid character in identifier のエラーが出ました。
```ここに言語を入力
def xxx(train_X, train_y, test_X):
    train_X = tf.placeholder(tf.float32,[None,784])
    train_y = tf.placeholder(tf.float32,[None,784])
    W = tf.Variable(tf.zeros([784,10]))
    b = tf.Variable(tf.zeros([10]))
    y = tf.nn.softmax(tf.matmul(train_X, train_y,W)+b)
  pred_y = tf.placeholder(tf.float32,[None,10])
    cross_entropy = -tf.reduce_sum(pred_y*tf.log(y))
    train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
    init = tf.initialize_all_variables()
    correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
    accuracy = tf.reduce_mean(tf.cast(correct_prediction,"foat"))
    return pred_y
```
と書いたコードを実行すると
```ここに言語を入力
 train_X = tf.placeholder(tf.float32,[None,784])
           ^
SyntaxError: invalid character in identifier
```
とエラーが出ました。
どうしてただ変数定義をしただけなのにこのようなエラーが出るのかがわかりません。
どう直せば良いのでしょうか？

invalid character in identifier　のエラー

###前提・実現したいこと
一般的なcsvデータをKerasに食わせて他クラス分類を行おうと思っているのですが、
訓練データに含まれるID系のデータの扱いについて困っております。
ID系を訓練データとして扱う良い方法を模索しております。

IDなどの質的変数の場合、一般的にone hot表現に変換するかと思います。
その際にどのように行えばよいのかを手探りで行っていましたが、エラーになってしまいます。

訓練データにそのようなデータが含まれていた場合のベストプラクティスをご教示願いたいです。

###発生している問題・エラーメッセージ

`[[3,100,25]]` というデータ(３はID)を、 `to_categorical`でIDを変換し、fitを呼び出すと以下のエラーになってしまいます。


```
ValueError: setting an array element with a sequence.
```

###該当のソースコード
ショートコードですが。

```python
from keras.models import Sequential
from keras.layers.core import Dense, Activation, Dropout
from keras.optimizers import SGD
import numpy as np
from keras.utils import np_utils

model = Sequential()
model.add(Dense(64, activation='relu', input_dim=3))
model.add(Dropout(0.5))
model.add(Dense(64, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(3, activation='softmax'))
sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='categorical_crossentropy',
              optimizer=sgd,
              metrics=['accuracy'])
y = np_utils.to_categorical(0,3)
x_id = np_utils.to_categorical(3,4)
model.fit(np.array([[x_id,100,25]]), y)
```

###試したこと
上記コード参照

###補足情報(言語/FW/ツール等のバージョンなど)
Python:3.5.3
Keras:2.0.6
Tensorflow:1.2.1
numpy:1.13.1+mkl
Anaconda3 on Windows10

Kerasで訓練データにIDがある場合のベストプラクティスについて

### 前提・実現したいこと

画像上の特定の部分をオブジェクトとして認識させたい

具体的には、画像の空（そら）の部分との差分として、建造物を物体として認識できるようにし対と思っています。（空の領域に重なっていない物体は認識しない）
物体として認識することによって、例えばグラフなどを上に重ねたときにグラフと物体の交点が得られるような処理をおこないたいと思っています。
![イメージ説明](28f668b3e6e68642633a36f6c4098564.png)



### 試したこと

カスケードを用いた顔認識の方法は調べて出てくるのですが、建物の場合、カスケードファイルが存在しないので同じような方法ができません。

### 補足情報（FW/ツールのバージョンなど）

プログラミング言語：python3.6
開発環境：Winpython - Spyder
OS:Windows7

画像処理を使い、画像上の建造物を物体として認識させたい

現在、Deep Learningの学習をしています。サンプルコードを自分なりに変え、学習した後にwebカメラからの入力画像を分類し表示された数字が何かを当てるというものにしましたつもりです。また、正答確率は85 %近辺です。しかし、実際に動かしてみるとエラーこそ出ないもののプログラムが一向に数字を当ててくれません。
　私はDeep Learningの学習を始めたばかりのため、原因が分かりませんでした。モデルの正答率に対して実際にモデルの画像を分類させたときの正答率が低い原因を教えていただきたいです。
```python
import cv2
from PIL import Image
from keras.models import load_model
import numpy as np
import matplotlib.pyplot as plt
from keras.datasets import mnist
from keras.layers import Activation, Dense, Dropout
from keras.models import Sequential, load_model
from keras import optimizers
from keras.utils.np_utils import to_categorical

(X_train, y_train), (X_test, y_test) = mnist.load_data()

X_train = X_train.reshape(X_train.shape[0], 784)[:6000]
X_test = X_test.reshape(X_test.shape[0], 784)[:1000]
y_train = to_categorical(y_train)[:6000]
y_test = to_categorical(y_test)[:1000]

model = Sequential()
model.add(Dense(280, input_dim=784))
model.add(Activation("sigmoid"))
model.add(Dense(128))
model.add(Activation("sigmoid"))
model.add(Dropout(rate=0.5))
model.add(Dense(10))
model.add(Activation("softmax"))

sgd = optimizers.SGD(lr=0.01)
model.compile(optimizer=sgd, loss="categorical_crossentropy", metrics=["accuracy"])
model.fit(X_train, y_train, batch_size=32, epochs=10, verbose=1)

score = model.evaluate(X_test, y_test, verbose=0)
print("evaluate loss: {0[0]}\nevaluate acc: {0[1]}".format(score))

cap = cv2.VideoCapture(1)

while True:

    ret, frame = cap.read()
    gray = cv2.cvtColor(frame, cv2.COLOR_RGB2GRAY)
   
    cv2.imshow('preview', frame)
    key = cv2.waitKey(10)
    if key == ord("s"):
        path = "photo.jpg"
        cv2.imwrite(path,gray)

        img = np.array(Image.open('photo.jpg'))
        width,height=28,28
        img2 = cv2.resize(img,(width,height))
        data = img2.reshape(1, 784)  
        res = model.predict([data])
        y = res.argmax()  
        rabel = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
        print("Prediction is ", rabel[y])
    
    if key == ord("q"):
        break
コード
```

以下が被分類画像のimg2です。
![webカメラにより取り込みリサイズした画像](5b97de9a985375c1bfa8b31b2219040b.jpeg)

DeepLearningで書かれた数字を当てたい

kerasのオートエンコーダを用いて特徴量抽出を行いたいと考えています。
```Python
from keras.layers import Input, Dense
from keras.models import Model
from keras.datasets import mnist
import numpy as np

encoding_dim = 32
input_img = Input(shape=(784,))
encoded = Dense(encoding_dim, activation='relu')(input_img)
decoded = Dense(784, activation='sigmoid')(encoded)
autoencoder = Model(input=input_img, output=decoded)

autoencoder.compile(optimizer='adadelta', loss='binary_crossentropy')

(x_train, _), (x_test, _) = mnist.load_data()
x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.
x_train = x_train.reshape((len(x_train), np.prod(x_train.shape[1:])))
x_test = x_test.reshape((len(x_test), np.prod(x_test.shape[1:])))

autoencoder.fit(x_train, x_train,
                nb_epoch=50,
                batch_size=256,
                shuffle=True,
                validation_data=(x_test, x_test))
```

以上のようなコードで、32次元に圧縮した時の中間層から特徴量として値を抽出したいと考えているのですがどのようにしたら抽出できるのでしょうか。

よろしくお願いいたします。

PythonのKerasを用いたオートエンコーダでの中間層からの特徴量抽出

# やりたいこと
`href`のリンクを取得するのには成功したのですが、`href`の中身が`/projects/python/`で始まるリンクに絞り込むにはどうしたら良いでしょうか。


- スクレイピング対象: [freelancer.com](https://www.freelancer.com/archives/python/2018-40/)

**コード**
```
# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import requests
import csv
import warnings
warnings.filterwarnings('ignore')

r = requests.get("https://www.freelancer.com/archives/python/2018-40/")
soup_content = BeautifulSoup(r.content, "html.parser")
f1 = open('r.txt', 'w')
f1.write(r.text)
f1.close

soup = BeautifulSoup(r.text)
with open('allhref.csv', 'w+',newline='',encoding='utf-8') as f:
    writer = csv.writer(f, lineterminator='\n')
    for link in soup.find_all('a'):
        writer.writerow([link.get('href')])
```

**get('href')の中身**
全てではありませんが、主なもののみ
```
/info/how-it-works
/jobs/
/post-project
/projects/python/online-web-tool/
/projects/php/Project-for-Kseniia-17867039/

```

**r.textの中身**
全てではありませんが、主なもののみ
```
<a title="Project for Kseniia I. -- 18/09/30 05:09:30 Job" href="/projects/php/Project-for-Kseniia-17867039/" class="job">Project for Kseniia I. -- 18/09/30 05:09:30</a>
<a title="online web tool Job" href="/projects/python/online-web-tool/" class="job">online web tool</a>
<a title="Instagram credentials getting Job" href="/projects/php/Instagram-credentials-getting-fix/" class="job">Instagram credentials getting</a>
```

よろしくお願いしますm(__)m

# できましたー(≧∇≦)b
[jun68ykt](https://teratail.com/users/jun68ykt)さま、ありがとうございます!
おかげさまでできました(*^^*)

```
# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import requests
import csv
import re
import warnings
warnings.filterwarnings('ignore')

r = requests.get("https://www.freelancer.com/archives/python/2018-40/")
soup_content = BeautifulSoup(r.content, "html.parser")
f1 = open('r.txt', 'w')
f1.write(r.text)
f1.close

soup = BeautifulSoup(r.text)
with open('pythonHref.csv', 'w+',newline='',encoding='utf-8') as f:
    writer = csv.writer(f, lineterminator='\n')
    for link in soup.find_all('a', {'href': re.compile(r'^/projects/python/')}):
        writer.writerow([link.get('href')])
```

[Python3 Scraping]`href`の中身を条件としてリンクを取得したい

この配列を
```
[
{"r": 264.0, "theta": 0.034906585}#A
{"r": 254.0, "theta": 0.10471976}#A

{"r": 284.0, "theta": 1.6057029}#B
{"r": 309.0, "theta": 1.6057029}#B
{"r": 306.0, "theta": 1.6231562}#B

{"r": 67.0, "theta": 1.5882496}#C
{"r": 61.0, "theta": 1.6057029}#C
{"r": 72.0, "theta": 1.5882496}#C

{"r": 133.0, "theta": 1.6057029}#D
{"r": 142.0, "theta": 1.6057029}#D
{"r": 147.0, "theta": 1.5882496}#D
{"r": 131.0, "theta": 1.6057029}#D
{"r": 137.0, "theta": 1.5882496}#D

{"r": 132.0, "theta": 0.6981317}#E
{"r": 142.0, "theta": 0.6457718}#E
{"r": 144.0, "theta": 0.6632251}#E

{"r": -283.0, "theta": 2.5481806}#F
{"r": -292.0, "theta": 2.6179938}#F
{"r": -286.0, "theta": 2.6005406}#F
{"r": -289.0, "theta": 2.565634}#F
]
```
以下のように6つのパターンに分けて出力したい
```
[
  {"r": 260, "theta": 0.05 }#パターンA
  {"r": 300, "theta": 1.6  }#パターンB
  {"r":  70, "theta": 1.6  }#パターンC
  {"r": 140, "theta": 1.6  }#パターンD
  {"r": 135, "theta": 0.65 }#パターンE
  {"r":-290, "theta": 2.6  }#パターンF
]
```


#条件
- 元データはパターンごとにソートされてはいない
- パターンはrとθによって分けられて合計6パターン(パターンの数は変化しない)
- 各パターンでの値のばらつきはrは+-10、θは+-0.1程度(パターンの判別が難しくなるほどばらついていないはず)
- 各パターンに含まれる要素数はランダム

#期待する出力
- r,θともに平均値や中央値など、ある程度真ん中をとった値を出力したい(特にこだわりはない)

どのようにすればいいのか全くわからないので、ご教授ください。
よろしくおねがいします。