常連

注目の的

社会貢献

自己紹介

pyinstallerを使って学習ずみのモデル「model_9.h5」をロードするpythonファイル「main.py」をexe化しましたが、exeファイルを実行すると、

Traceback (most recent call last):
  File "main.py", line 19, in <module>
  File "site-packages/keras/engine/saving.py", line 417, in load_model
  File "site-packages/keras/utils/io_utils.py", line 186, in __init__
  File "site-packages/h5py/_hl/files.py", line 312, in __init__
  File "site-packages/h5py/_hl/files.py", line 142, in make_fid
  File "h5py/_objects.pyx", line 54, in h5py._objects.with_phil.wrapper
  File "h5py/_objects.pyx", line 55, in h5py._objects.with_phil.wrapper
  File "h5py/h5f.pyx", line 78, in h5py.h5f.open
OSError: Unable to open file (unable to open file: name = './model_9.h5', errno = 2, error message = 'No such file or directory', flags = 0, o_flags = 0)
[20378] Failed to execute script main
logout
Saving session...
...copying shared history...
...saving history...truncating history files...
...completed.

以上のエラーが出ます。
main.pyとmodel_9.h5は同じディレクトリ内にあり、読み込む際は
```python
model = load_model("./model_9.h5")
```
のように相対パスを使っています。

exe化しない元の段階のファイルではうまく動くのですが...

どうしたらexeファイルでも読み込めるようになるのでしょうか。
環境はanaconda4.7.11、PCはMacです。

pyinstallerでload_model()しようとするmodelが読み込まれない

データフレームから3D散布図を作れるのかわかりません。
もし、作れるなら作成方法を教えてください。

詳細は、添付図を参照ください。

![イメージ説明](83ac3e84ee345b7d7e455a80bd4d90d5.png)

python データフレームから3D散布図を作成したい。

## 短時間フーリエ変換後の出力データの構造を知りたい
現在、pythonで短時間フーリエ変換を実行したあとの出力結果を各窓で分けられたデータごとに欲しいのですが、全体を出力すればビン毎にデータが出すことができるが、配列のように定義してbin[1]などをしてデータを取り出したいのですが、調べてもさっぱりわかりません。
下に示した画像の一枚目のデータで窓関数事に分かれて出力されていると思います。その各色のデータをそれぞれ抽出することは可能なのでしょうか？
よろしくお願いいたします。
```python
#
import numpy as np  #added by author
from scipy import signal
import matplotlib.pyplot as plt

#Generate a test signal, a 2 Vrms sine wave at 50Hz corrupted by 0.001 V**2/Hz of white noise sampled at 1024 Hz.
#テスト信号、1024 Hzでサンプリングされた0.001 V ** 2 / Hzのホワイトノイズで破損した50 Hzの2 Vrmsの正弦波を生成します

fs = 1024
N = 10*fs
nperseg = 512
amp = 2 * np.sqrt(2)
noise_power = 0.001 * fs / 2
time = np.arange(N) / float(fs)
carrier = amp * np.sin(2*np.pi*50*time)
noise = np.random.normal(scale=np.sqrt(noise_power),
                         size=time.shape)
x = carrier + noise
#Compute and plot the STFT’s magnitude.
#STFTの振幅を計算してプロットします

f, t, Zxx = signal.stft(x, fs=fs, nperseg=nperseg)
plt.figure()
plt.pcolormesh(t, f, np.abs(Zxx), vmin=0, vmax=amp)
plt.ylim([f[1], f[-1]])
plt.title('STFT Magnitude')
plt.ylabel('Frequency [Hz]')
plt.xlabel('Time [sec]')
plt.yscale('log')
plt.show()'''

pythonのstftについて

二つ質問がございます。
まず、下記にコードを共有してから、質問を列記します。
```python
input_data_dir = r"C:\Users\Admin\Desktop\hoge"
os.chdir(input_data_dir)

#質問1の部分
print(os.listdir('.'))

#質問2の部分、(if os.path.isfile(os.path.join('.', file_name)についての質問)
file_list = [file_name for file_name in os.listdir('.') if os.path.isfile(os.path.join('.', file_name))]
```

**質問1**
"."とは、なんでしょうか？ カレントディレクトリという意味でしょうか？
出力してみると、input_data_dir フォルダ配下にあるファイルがすべて出てきたので、
カレントディレクトリと推察しましたが、この認識はあってますか？
もしそうなら、os.listdir('.')ではなく、(将来的に)os.listdir()としても問題ないですか？
下記に一応、出力結果載せます。
![イメージ説明](a8e71f44371e5f37d1790ebc676c1f02.jpeg)

**質問2**
if os.path.isfile(os.path.join('.', file_name))の判定で、わざわざこのように記載する特別な理由はありますか？
if os.path.isfile(os.path.join(file_name))では、将来的に問題ありますか？

os.path.join() & os.listdir()の中に入れる、"."　について

##行ったこと
時系列予測についてRNNとLSTMの比較が行えるように実装を行った。
中間層の調整や入力時系列の長さを変えるなど行いましたが、同様の結果となってしまった。

##問題点
予測値があまりにも見当違いの値となってしまっている(波形を追うこともできていない)。
→学習がうまく行えていないのではないかと考えた。
→プログラムそのもののミスがあるかもしれないのですが、エラーは一切出ておりません。

##実現したいこと
ある1つの時系列波形を学習し予測を行うこと。

```python
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn import model_selection

#データの取得(書き換え)
data1 = pd.read_csv('C:/***/***.csv') 

x_data = data1.loc[0:8020:10,['num']].values    
Fz_data = data1.loc[0:8020:10,['data']].values        

plt.plot(x_data, Fz_data)
plt.show()

n_rnn = 10 #時系列の数(長さ)
n_sample = len(x_data) - n_rnn #サンプル数
x = np.zeros((n_sample, n_rnn)) #入力
t = np.zeros((n_sample,)) #正解、最後の時刻のみ

for i in range(0, n_sample):
    x[i] = Fz_data[i:i+n_rnn].T
    t[i] = Fz_data[i+n_rnn] #入力の時系列より1つ後の値

x = x.reshape(n_sample, n_rnn, 1) #(サンプル数、時系列の数、入力層のニューロン数)
print(x.shape)
t = t.reshape(n_sample, 1) #(サンプル数、入力層のニューロン数)
print(t.shape)

#-------------------------------------------------#
#モデルの構築
from keras.models import Sequential
from keras.layers import Dense, SimpleRNN, LSTM

batch_size = 128 #バッチサイズ
n_in = 1 #入力層のニューロン数
n_mid = 100 #中間層のニューロン数
n_out = 1 #出力層のニューロン数

#比較の為の通常のRNN
model_rnn = Sequential()
model_rnn.add(SimpleRNN(n_mid, input_shape=(n_rnn, n_in), return_sequences=False)) #最後の出力のみ使用
model_rnn.add(Dense(n_out, activation="linear"))
model_rnn.compile(loss="mean_squared_error", optimizer="sgd")
print(model_rnn.summary())

#LSTM
model_lstm = Sequential()
model_lstm.add(LSTM(n_mid, input_shape=(n_rnn, n_in), return_sequences=False)) #最後の出力のみ使用
model_lstm.add(Dense(n_out, activation="linear"))
model_lstm.compile(loss="mean_squared_error", optimizer="sgd")
print(model_lstm.summary())

#-------------------------------------------------#
#学習

from keras.callbacks import EarlyStopping
import time

epochs = 100

early_stopping = EarlyStopping(monitor='val_loss', patience=10, verbose=1)
#通常のRNN
start_time = time.time()
history_rnn = model_rnn.fit(x, t, epochs=epochs, batch_size=batch_size, verbose=1, callbacks=[early_stopping]) #verbose=1とすると学習過程が見られる
print("学習時間 --RNN--:", time.time() - start_time)

#LSTM
start_time = time.time()
history_lstm = model_lstm.fit(x, t, epochs=epochs, batch_size=batch_size, verbose=1, callbacks=[early_stopping])
print("学習時間 --LSTM--:", time.time() - start_time)

#-------------------------------------------------#
#学習の推移

loss_rnn = history_rnn.history['loss']
loss_lstm = history_lstm.history['loss']

plt.plot(np.arange(len(loss_rnn)), loss_rnn, label='RNN')
plt.plot(np.arange(len(loss_lstm)), loss_lstm, label='LSTM')
plt.legend()
plt.show()

#-------------------------------------------------#
#学習済みモデルの使用
predicted_rnn = x[0].reshape(-1)
predicted_lstm = x[0].reshape(-1)
in_rnn = x[0].reshape(-1)
in_lstm = x[0].reshape(-1)

for i in range(0, n_sample):
    y_rnn = model_rnn.predict(predicted_rnn[-n_rnn:].reshape(1, n_rnn, 1))
    predicted_rnn = np.append(predicted_rnn, y_rnn[0][0])

    y_lstm = model_lstm.predict(predicted_lstm[-n_rnn:].reshape(1, n_rnn, 1))
    predicted_lstm = np.append(predicted_lstm, y_lstm[0][0])

#plt.plot(np.arange(len(y_test)), y_test, label="Training data")
plt.plot(np.arange(len(predicted_rnn)), predicted_rnn, label="Predicted_RNN")
plt.plot(np.arange(len(predicted_lstm)), predicted_lstm, label="Predicted_LSTM")
plt.plot(np.arange(len(in_rnn)), in_rnn, label="input_RNN0")
plt.plot(np.arange(len(in_lstm)), in_lstm, label="input_LSTM0")
plt.legend()
plt.show()
```
学習したい波形
![イメージ説明](0d0175b8a7e8a542b941cd8ddb8e196f.png)

出力波形(inputの長さも変えてみるなどしています.)
![イメージ説明](1dc72c8fa7ccc0072872f64631f4d567.png)

参考
![イメージ説明](3d4b9084ea0169d98d8a6197a826a598.png)

##使用環境
python3.6

##説明不足があれば解答いたします。
ご指摘よろしくお願いいたします。

RNNおよびLSTMによる時系列予測を実装したが上手く学習できない

### 質問です

こんにちは、プログラマー初心者です。
自分で調べたり、人に聞いたりしたの
下記のように、サイトによって畳み込み層(model.add(Conv2D(～～)))を2つ書いてプーリング層(model.add(Pooling2D(～～)))を1つ書いてるものと、畳み込み層を1つ書いてプーリング層を書いているものがありますが、結果がどう変わるのか分かりません。違いは何でしょうか。
ご教示お願いいたします。

### プログラム例(畳み込み層2つの場合)


```
model.add(Conv2D(filters = 64, kernel_size = (3, 3), strides = (1, 1), padding = 'same', activation = 'relu'))
model.add(Conv2D(filters = 64, kernel_size = (3, 3), strides = (1, 1), padding = 'same', activation = 'relu'))
model.add(MaxPooling2D(pool_size = (2, 2)))
```

### プログラム例(畳み込み層1つの場合)


```
model.add(Conv2D(filters = 64, kernel_size = (3, 3), strides = (1, 1), padding = 'same', activation = 'relu'))
model.add(MaxPooling2D(pool_size = (2, 2)))
```

情報が足りなければ教えてください。追記します。よろしくお願いいたします。

CNN畳み込み層の数による結果の違い

### 前提・実現したいこと
Pythonで機械学習の勉強を始めて1か月です。

複数の波形を数値化したCSVファイルがあります。
その複数の波形パターンが一つの事象を示します。
つまり一つのCSVファイルが一つの事象を表しています。
一つの列が一つの波形、行が時間経過を示しています。
このファイルが大量にあります。
これを機械学習にかけて波形から事象を予測する分類モデルを作成したいのです。

irisとかTitanicなどの練習データでは1行のデータにそれぞれ正解がついていて、
それを機械学習にかけるモデルはみられるのですが、
今回の様に行列全体を一つの正解として扱いたい場合にはどのようにすればよいのでしょうか。

考えられるのは、
A. 行列を1次元に変換する
B. 全てのファイルを統合し三次元のndarrayとして処理する
ですが、それが可能か、可能としてもどうやって大量のCSVを統合すればよいのかわかりません。
同様の処理をわかりやすく説明しているサイト、書籍などあれば教えていただけませんでしょうか。