常連

注目の的

質問力

現在CNNでTOPIX500の株価チャート画像を用いて翌日の株価の騰落を分類予測するモデルを作っています。（使用ライブラリはChainer）
日本株はアメリカ株の影響を強く受けるのではと思いアメリカ株の情報も入力に組み入れたいと考えていますがどのように組み入れるのが最適でしょうか。

現状：100日分のtopix500の株価チャート画像（下図）を入力画像に用い翌日の株価の騰落を分類予測。
なお、上記のように考えた場合たとえば明日の株価を予測する際今日のTOPIXの株価には昨日までのアメリカ株の影響が加味されていると考えられるため組み入れるべきアメリカ株の情報は今日の分のみでこの場合どのようにして今日"だけ"のアメリカ株の情報を組み入れれば良いか悩んでおります。

案１：入力画像に何らかのアメリカ株の騰落を示す編集を加える。
　　　例）今日の株価が昨日より上がっていたなら画像下部に赤線、下がっていたなら緑線
案２：全結合層のところでアメリカ株価を組み入れる
　　　全結合層の部分に一つ情報を組み入れたところで意味なさそう？
案３：今日だけでなく同じく１００日分のアメリカ株の株価チャート画像を作成し、画像を二枚入力に用いる
　　　計算量が膨大になりそう、コーディングが厄介（フレームワークが使えない）

![イメージ説明](4290ae98c8645885af6a69e7a34483b3.jpeg)

画像処理における画像への特徴量追加

### 概要
下記サイトのPythonのtkinterで作成されたカレンダーを利用したいのですが、
クリックされた年月日の取得で躓いています。

python tkinter カレンダーの月めくり処理を実装する（カレンダー編③）
[http://memopy.hatenadiary.jp/entry/2017/06/18/100406](http://memopy.hatenadiary.jp/entry/2017/06/18/100406)

memopy様、アップしていただきありがとうございます。
引用させていただきます。
### 実現したいこと
カレンダーの日付ボタンをクリックすると
クリックされたボタンのテキストを取得し、
トップに表示中の西暦と月を連結して
'20200112'のような8桁の年月日データを取り出したいと思っています。

（ゆくゆくはこのイベントで
選択された日の詳細データを取得する処理をさせる予定です。）
### やってみたこと
クリックされたボタンのテキストを取得する関数を書き、
ボタンを作成するクラスとバインドさせることには成功したのですが、
**トップに表示中の西暦と月の両テキストを取得するためには**
**どうしたらよいのかがわかりません。**
![イメージ説明](0217dadd69c717537a24fd2ddc30f313.png)
以下、私が新たに記述した関数です。
```Python
#左クリックされたカレンダーの年月日を取得する関数（作成中）
def callback(event):
    selected_date = ''
    if event.widget['text'] not in ['Mon','Tue','Wed','Thu','Fri','Sat','Sun']:
        selected_date += '2020'#ここに表示中の年を代入したい
        selected_date += '1'#ここに表示中の月を代入したい
        selected_date += str(event.widget['text'])
        print(selected_date)
```
### スクリプト全文
以下、上記サイトから引用し手を加えたスクリプト全文です。
```python
# -*- coding:utf-8 -*-

import tkinter as tk

# カレンダーを作成するフレームクラス
class mycalendar(tk.Frame):
    def __init__(self,master=None,cnf={},**kw):
        "初期化メソッド"
        import datetime
        tk.Frame.__init__(self,master,cnf,**kw)
        
        # 現在の日付を取得
        now = datetime.datetime.now()
        # 現在の年と月を属性に追加
        self.year = now.year
        self.month = now.month

        # frame_top部分の作成
        frame_top = tk.Frame(self)
        frame_top.pack(pady=5)
        self.previous_month = tk.Label(frame_top, text = "<", font = ("",14))
        self.previous_month.bind("<1>",self.change_month)
        self.previous_month.pack(side = "left", padx = 10)
        self.current_year = tk.Label(frame_top, text = self.year, font = ("",18))
        self.current_year.pack(side = "left")
        self.current_month = tk.Label(frame_top, text = self.month, font = ("",18))
        self.current_month.pack(side = "left")
        self.next_month = tk.Label(frame_top, text = ">", font = ("",14))
        self.next_month.bind("<1>",self.change_month)
        self.next_month.pack(side = "left", padx = 10)

        # frame_week部分の作成
        frame_week = tk.Frame(self)
        frame_week.pack()
        button_mon = d_button(frame_week, text = "Mon")
        button_mon.grid(column=0,row=0)
        button_tue = d_button(frame_week, text = "Tue")
        button_tue.grid(column=1,row=0)
        button_wed = d_button(frame_week, text = "Wed")
        button_wed.grid(column=2,row=0)
        button_thu = d_button(frame_week, text = "Thu")
        button_thu.grid(column=3,row=0)
        button_fri = d_button(frame_week, text = "Fri")
        button_fri.grid(column=4,row=0)
        button_sta = d_button(frame_week, text = "Sat", fg = "blue")
        button_sta.grid(column=5,row=0)
        button_san = d_button(frame_week, text = "Sun", fg = "red")#'San'→'Sun'と修正した
        button_san.grid(column=6,row=0)

        # frame_calendar部分の作成
        self.frame_calendar = tk.Frame(self)
        self.frame_calendar.pack()

        # 日付部分を作成するメソッドの呼び出し
        self.create_calendar(self.year,self.month)

    def create_calendar(self,year,month):
        "指定した年(year),月(month)のカレンダーウィジェットを作成する"

        # ボタンがある場合には削除する（初期化）
        try:
            for key,item in self.day.items():
                item.destroy()
        except:
            pass
            
        # calendarモジュールのインスタンスを作成
        import calendar
        cal = calendar.Calendar()
        # 指定した年月のカレンダーをリストで返す
        days = cal.monthdayscalendar(year,month)

        # 日付ボタンを格納する変数をdict型で作成
        self.day = {}
        # for文を用いて、日付ボタンを生成
        for i in range(0,42):
            c = i - (7 * int(i/7))
            r = int(i/7)
            try:
                # 日付が0でなかったら、ボタン作成
                if days[r][c] != 0:
                    self.day[i] = d_button(self.frame_calendar,text = days[r][c])
                    self.day[i].grid(column=c,row=r)
            except:
                """
                月によっては、i=41まで日付がないため、日付がないiのエラー回避が必要
                """
                break

    def change_month(self,event):
        # 押されたラベルを判定し、月の計算
        if event.widget["text"] == "<":
            self.month -= 1
        else:
            self.month += 1
        # 月が0、13になったときの処理
        if self.month == 0:
            self.year -= 1
            self.month = 12
        elif self.month == 13:
            self.year +=1
            self.month =1
        # frame_topにある年と月のラベルを変更する
        self.current_year["text"] = self.year
        self.current_month["text"] = self.month
        # 日付部分を作成するメソッドの呼び出し
        self.create_calendar(self.year,self.month)

# デフォルトのボタンクラス
class d_button(tk.Button):
    def __init__(self,master=None,cnf={},**kw):
        tk.Button.__init__(self,master,cnf,**kw)
        self.configure(font=("",14),height=2, width=4, relief="flat")
        self.bind('<Button-1>', callback)#オリジナルに追加した

#左クリックされたカレンダーの年月日を取得する関数（作成中）
def callback(event):
    selected_date = ''
    if event.widget['text'] not in ['Mon','Tue','Wed','Thu','Fri','Sat','Sun']:
        selected_date += '2020'#ここに表示中の年を代入したい
        selected_date += '1'#ここに表示中の月を代入したい
        selected_date += str(event.widget['text'])
        print(selected_date)

# ルートフレームの定義      
root = tk.Tk()
root.title("Calendar App")
mycal = mycalendar(root)
mycal.pack()
root.mainloop()
```
### 補足
**__current_year["text"]__**と**__current_month["text"]__**が
目的のデータを格納していると思うのですが、
私はクラスに関して初心者のためどう扱ったらよいのかわかりません。

さらに私が新規で書いた関数についても記述する場所はここでよいのか、
それともどちらかのクラスのメソッドとした方がよいのか、よく理解できていません。
その点もアドバイスをいただけると幸いです。

お知恵をお貸しください。よろしくお願いします。

GUIカレンダーでクリックされた年月日を取得したい

以下のようなコードを記述して、Google Coraboratoryのセッションが切れてもfor文が
続き（最後に実行した部分をもう一度実行してもOK）から再開されるというコードを実行したところ、
正しくtext.txtに値が保持されません。
KeyBoardInterruptにより強制的に実行を停止した場合、text.txtの中身は最後に実行したfor文の引数を保持して欲しいです。
しかし、実際に実行した後、KeyBoardInterruptにより強制的に実行を停止した後の、text.txtの中身は中身は何も記述されておらず、
再度実行することが出来ません。
時間が関係するのでしょうか。
どなたか教えて頂けると幸いです。

```python
try:
    with open('drive/My Drive/file/text.txt') as f:
        s01, s02, s03, s04, s05, s06, s07, s08 = map(int, f.read().strip().split())
except FileNotFoundError:
    s01 = s02 = s03 = s04 = s05 = s06 = s07 = s08 = 0

STOP = 33
for n08 in range(s08, STOP):
  for n07 in range(s07, STOP):
    for n06 in range(s06, STOP):
      for n05 in range(s05, STOP):
        for n04 in range(s04, STOP):
          for n03 in range(s03, STOP):
            for n02 in range(s02, STOP):
              for n01 in range(s01, STOP):
                  with open('drive/My Drive/file/text.txt', 'w') as f:
                       print(n01, n02, n03, n04, n05, n06, n07, n08, file=f)
```

```error
---------------------------------------------------------------------------
KeyboardInterrupt                         Traceback (most recent call last)
<ipython-input-6-1021452120fe> in <module>()
     14             for n02 in range(s02, STOP):
     15               for n01 in range(s01, STOP):
---> 16                   with open('drive/My Drive/file/text.txt', 'w') as f:
     17                        print(n01, n02, n03, n04, n05, n06, n07, n08, file=f)

/usr/lib/python3.6/_bootlocale.py in getpreferredencoding(do_setlocale)
     21             return locale.getpreferredencoding(do_setlocale)
     22     else:
---> 23         def getpreferredencoding(do_setlocale=True):
     24             assert not do_setlocale
     25             result = _locale.nl_langinfo(_locale.CODESET)

KeyboardInterrupt: 
```

Google Coraboratory ループ中のセッション切れ対策 (Python)

### 関数に()をつけない時がなぜあるのか

現在Pandasの勉強をしており、Seriesオブジェクトに
count()関数をあてて要素数を求めようと思ったのですが、
.countと使うこともありますよね？
メソッドでも関数でも()をつけると思うのですが、前者は「関数」、後者なんなのでしょうか？

### 

```Python
A = pd.Series([1,2,3,4,4])
A.count
A.count()
```
具体的には、このような感じです

Pytnonの関数に（）をつけないときがあるのはなぜ？

![イメージ説明](d9305a7cc3ed52bbd727e8eb848893ad.jpeg)opencv、pythonで赤色の部分を抽出するコードを書いているのですが
綺麗に赤色の部分を抽出することができません。
（この画像の赤い選手をできる限り綺麗に認識したいです。）


今現時点で使っているコードはこれなのですが
BGRで赤色を抽出しています



```ここに言語を入力
#BGR
iro = cv2.inRange(akari, (0,0,90), (60,90,255))
```

```ここに言語を入力
 # Convert BGR to HSV
hsv = cv2.cvtColor(src, cv2.COLOR_BGR2HSV)

# define range of blue color in HSV
lower_blue = np.array([0,0,0])
upper_blue = np.array([0,0,0])

# Threshold the HSV image to get only blue colors
mask = cv2.inRange(hsv, lower_blue, upper_blue)
```


そして今はBGRで書いていますがHSVに変換した方が認識しやすいのではないかと思っています
そこで上記は赤色のBGRのパラメータですが
HSVに直した時にどのようなパラメータになるか考えていただきたいです


そしてBGRとHSVの方法以外に特定の色を認識するすべがありましたら教えていただきたいです

画像の赤い部分を抽出したい　python opencv

python keras　を用いて,3DCNNを実装しています.
やりたいことは,動画の自動分類です.
扱うデータは,グレースケールの動画を扱っています.

現在,モデルを構築して,学習させて,パラメータの変更を繰り返しやっている段階です.
しかし,ここでloss,accが全く変化しない問題に当たっています.

現在は,epoch数を2にしています.以下に例を載せていますが,epoch数を増やしても全くloss,acc共に改善する気配が見られません.
全く同じ値になります.(若干だけ数値が違うこともある.)
現在,データ数は1890で 学習用:検証用:テスト用=8:1:1 の割合でやっています.

```keras
Epoch 1/2
189/189 [==============================] - 498s 3s/step - loss: 10.8485 - acc: 0.3267 - val_loss: 10.4211 - val_acc: 0.3535
Epoch 2/2
189/189 [==============================] - 255s 1s/step - loss: 10.8485 - acc: 0.3267 - val_loss: 10.4096 - val_acc: 0.3542
```


原因としては,
・データセットが原因（データ数が少ないetc）
・epoch数を増やすと改善する？（epoch5まで試して見ましたが改善しない）

などは考えていますがacc,loss値が全く同じ値になることが気になります.
(=まったく学習できていない？,コードのミス?)


何か改善案,経験談 などでわかるかたは,回答宜しくお願いします.
<環境>
python keras
google colab

loss、accuracy　がepochが進んでも変化せず学習が進まない.

<環境>
Linux
Ubuntu 18.04.3 LTS (Bionic Beaver)
Anaconda 64bit 
python3.7
tensorflow 1.13-gpu


anacondaで作った環境下でkerasを用いて機械学習を勉強しています。[参考サイト](https://qiita.com/supersaiakujin/items/b9c9da9497c2163d5a74)←このサイトを参考にして、学習したモデルの保存と読み込みを学んでいます。

↓自分で作成したコード
```ここに言語を入力
from tensorflow.python.keras.datasets import cifar10
from tensorflow.python.keras.callbacks import ModelCheckpoint

(x_train, y_train), (x_test, y_test) = cifar10.load_data()

print('x_train.shape:', x_train.shape)
print('x_test.shape:', x_test.shape)
print('y_train.shape:', y_train.shape)
print('y_test.shape:', y_test.shape)

x_train = x_train/255
x_test = x_test/255

from tensorflow.python.keras.utils import to_categorical

y_train = to_categorical(y_train, 10)
y_test = to_categorical(y_test, 10)

from tensorflow.python.keras.models import Sequential
model = Sequential()

from tensorflow.python.keras.layers import Conv2D

model.add(
    Conv2D(
        filters=32,
        input_shape=(32,32,3),
        kernel_size=(3,3),
        strides=(1,1),
        padding='same',
        activation='relu'
    )
)

model.add(
    Conv2D(
        filters=32,
        kernel_size=(3,3),
        strides=(1,1),
        padding='same',
        activation='relu'
    )
)

from tensorflow.python.keras.layers import MaxPooling2D
model.add(MaxPooling2D(pool_size=(2,2)))

from tensorflow.python.keras.layers import Dropout
model.add(Dropout(0.25))

model.add(
    Conv2D(
        filters=64,
        kernel_size=(3,3),
        strides=(1,1),
        padding='same',
        activation='relu'
    )
)

model.add(
    Conv2D(
        filters=64,
        kernel_size=(3,3),
        strides=(1,1),
        padding='same',
        activation='relu'
    )
)

model.add(MaxPooling2D(pool_size=(2,2)))
model.add(Dropout(0.25))

model.output_shape

from tensorflow.python.keras.layers import Flatten
model.add(Flatten())
model.output_shape

from tensorflow.python.keras.layers import Dense
model.add(Dense(units=512, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(units=10, activation='softmax'))

from tensorflow.python.keras.callbacks import TensorBoard

model.compile(
    optimizer='adam',
    loss='categorical_crossentropy',
    metrics=['accuracy']
)

check_point = ModelCheckpoint( filepath="./model/model.{epoch:02d}-{val_loss:.4f}.hdf5",
				       monitor="val_loss",
				       save_best_only=True,
				       mode="auto" )

tsb = TensorBoard(log_dir='./aaa')
history_model = model.fit(
    x_train,
    y_train,
    batch_size=32,
    epochs=20,
    validation_split=0.2,
    callbacks=[tsb,check_point]
)

```
とりあえず、ModelCheckpointを用いてval_lossが最小になるときのパラメーターを保存しようと思い実行したところ以下のエラー文が出ました。

> 'h5f.pyx' を開くことができません: ファイル (Error: ファイルが見つかりません (/home/spi/ドキュメント/h5py/h5f.pyx)) を読み取ることができません。

ModelCheckpointでファイル名を指定するときの「.hdf5」を「.h5」にしても同じエラーが起こります。
そもそも.hdf5ファイルを作りたいのになぜ開こうとしているのでしょうか。
### やってみたこと
h5py,hdf5 のアップデート

---



どなたか回答お願いします

kerasでのモデルの保存方法がわからない

ざっくりした質問ですみません。

Pythonで「ある条件に合致したTwitterユーザーを探して自動でフォローする」類のコードを書いたのですが、これを一定時間おきに自動で実行してくれるクラウドサービスのようなものはありますでしょうか。
（PCの電源を付けていない時にも動作を実行させたいため、自分の環境でなく外部サービスで行いたいです。）

ありましたら、該当サービスと簡単な概要を教えて頂けると幸いです。

Pythonのプログラムを一定時間おきに実行するクラウドサービス

ニューラルネットを学習していると、
三回に一度ぐらいの頻度でいかなる入力でも出力が同じになってしまうネットワークができてしまいます。
例えば異なる200次元のテンソルを入力して1次元のテンソルを出力した時に、出力が全て0.48になるといった感じです。
この現象は一般的にどんな名称がつけられているのでしょうか？
解決策を調べようにも検索ワードが分からないため質問させていただきました。

ニューラルネットの出力がすべて同じ値になる現象の名前

現在、用意した画像データ(150枚)と画像に一対一で対応する数字データを教師データとし、画像から数字を推論しようと試みています。そのときのlossとval_lossの値を図示したとき下記のようになりました。今回用意した画像と教師データの品質が良くないので、val_lossの値が想定より高い値となったのは良いのですが、trainの値がvalidation(図内ではtestと表記)よりも高い値となった理由がわかりませんでした。ざっくりとした質問で申し訳ないのですが、どういった要因が考えられるか教えて頂きたいです。
![図](e8975a5ce7114606954d2b01c1b84c11.png)

計算条件
・試したモデル(Lenet,AlexNet, VGG)
→いずれのモデルでもtrainのほうが大きくなりました。
・画像サイズ256*256
・Optimizer : Adam
・Batchsize : 32
・loss : mean_squared_error
・metrics : MSE (or MAE)

試しにMNISTのラベルを回帰させてみましたが、再現できませんでした。
他MNISTで試したこと
・ラベルに乱数を足す
・画像のサイズをresizeで拡大
・ガウシアンノイズを足す。

CNN回帰でval_loss(trainデータ)がloss(validationデータ)と比べ小さくなる現象について

### 前提・実現したいこと
機械学習用画像の準備のために大量の画像から顔の部分だけをトリミングして保存しようと試みています。
トリミング前の画像はmodelフォルダに保存しており、トリミングした顔画像をsaveフォルダに保存しようとしています。
以下のプログラムコードを実行したところエラーメッセージは表示されなかったのですが、saveフォルダの中にトリミングされた顔の画像が1枚も保存されていませんでした。

### 発生している問題・エラーメッセージ


```
C:\Users\Taisei\Anaconda3\envs\opencv\lib\site-packages\numpy\_distributor_init.py:32: UserWarning: loaded more than 1 DLL from .libs:
C:\Users\Taisei\Anaconda3\envs\opencv\lib\site-packages\numpy.libs\libopenblas.PYQHXLVVQ7VESDPUVUADXEVJOBGHJPAY.gfortran-win_amd64.dll
C:\Users\Taisei\Anaconda3\envs\opencv\lib\site-packages\numpy.libs\libopenblas.TXA6YQSD3GCQQC22GEQ54J2UDCXDXHWN.gfortran-win_amd64.dll
  stacklevel=1)
↑ここで実行が終わってしまいます。
```
###ソースコード
```python
import cv2
import matplotlib.pyplot as plt
import numpy as np
import sys, os
from PIL import Image
 
 
#入力ファイルのパスを指定
in_jpg = "C:\python code\model"
out_jpg = "C:\python code\save"
 
#リストで結果を返す関数
def get_file(dir_path):
    filenames = os.listdir(dir_path)
    return filenames
 
pic = get_file(in_jpg)
 
for i in pic:
    # 画像の読み込み 
    image_gs = cv2.imread(in_jpg + i)
 
    # 顔認識用特徴量ファイルを読み込む --- （カスケードファイルのパスを指定）
    cascade = cv2.CascadeClassifier('C:\Users\Taisei\Anaconda3\envs\OpenCV\Lib\site-packages\cv2\data\haarcascade_frontalface_default.xml')
    
    # 顔認識の実行
    face_list = cascade.detectMultiScale(image_gs,scaleFactor=1.1,minNeighbors=1,minSize=(1,1))
    
    # 顔だけ切り出して保存
    no = 1;
    for rect in face_list:
        x = rect[0]
        y = rect[1]
        width = rect[2]
        height = rect[3]
        dst = image_gs[y:y + height, x:x + width]
        save_path = out_jpg + '/' + 'out_('  + str(i) +')' + str(no) + '.jpg'
        
        #認識結果の保存
        a = cv2.imwrite(save_path, dst)
        plt.show(plt.imshow(np.asarray(Image.open(save_path))))
        print(no)
        no += 1

```

### 試したこと

ここに問題に対して試したことを記載してください。

### 補足情報（FW/ツールのバージョンなど）

参考にしたサイトの方はmacOSでしたが私はWindows10なのでそこで問題が発生しているのかもしれません。

大量の画像から顔の部分のみトリミングして保存したい(OpenCV)

Google Colabで、会社の売上データの集計をpandasを使って行っています。
会社でG-suiteの契約をしており、会社のアカウントでログインしています。

毎週csv形式のデータを、Google Colabにアップロードし、pandasで加工したあと、csvでダウンロードするという使い方をしています。
ディスクを見るともう少しで一杯になりそうな状態であることに最近、気づきました。

![イメージ説明](91f94c210f06333af7060e0d1d7196bb.png)


「!df -h」で、ディスクの状況を調べるとこのような表示がでたのですが、ディスクが一杯になると、売上データの集計ができなくなってしまうため、
　１、どんな情報がたまってしまっているのか
　２、どうやって綺麗にしたらよいのか
を知りたいと思っています。
調べても全然該当する記事にたどり着けず、困っております。
どなたか分かる方いらっしゃったら助けてください。
よろしくお願いいたします。

Filesystem      Size  Used Avail Use% Mounted on
overlay          49G   35G   13G  74% /
tmpfs            64M     0   64M   0% /dev
tmpfs           6.4G     0  6.4G   0% /sys/fs/cgroup
tmpfs           6.4G  8.0K  6.4G   1% /var/colab
/dev/sda1        55G   36G   20G  65% /etc/hosts
shm             6.0G  4.0K  6.0G   1% /dev/shm
tmpfs           6.4G     0  6.4G   0% /proc/acpi
tmpfs           6.4G     0  6.4G   0% /proc/scsi
tmpfs           6.4G     0  6.4G   0% /sys/firmware

【google colab】ディスク容量

### 前提・実現したいこと
下記の記事に従って、新しく作った仮想環境をjupyter notebookで利用しようとしました。
https://mopper27.hatenadiary.org/entry/20181102/1541171288

しかし、anaconda promptからjupyter notebookを起動しようとすると、NotImplementedErrorとエラーが発生して起動しません。このエラーにはどう対応すれば良いでしょうか。

### 発生している問題・エラーメッセージ

```
>>>jupyter notebook
[I 15:16:07.124 NotebookApp] The port 8888 is already in use, trying another port.
Traceback (most recent call last):
  File "c:\users\username\anaconda3\envs\openCV\lib\runpy.py", line 192, in _run_module_as_main
    return _run_code(code, main_globals, None,
  File "c:\users\username\anaconda3\envs\openCV\lib\runpy.py", line 85, in _run_code
    exec(code, run_globals)

             略

  File "c:\users\username\anaconda3\envs\openCV\lib\site-packages\tornado\platform\asyncio.py", line 99, in add_handler
    self.asyncio_loop.add_reader(fd, self._handle_events, fd, IOLoop.READ)
  File "c:\users\username\anaconda3\envs\openCV\lib\asyncio\events.py", line 501, in add_reader
    raise NotImplementedError
NotImplementedError
```

### 該当のソースコード

```python
python -m pip install --upgrade pip
pip install environment_kernels
jupyter notebook --generate-config
conda create -n openCV python=3.7 numpy jupyter
activate openCV
conda install pip
pip install jupyter
jupyter notebook
```


### 補足情報（FW/ツールのバージョンなど）
・環境はWindows 10 x64　です
・anacondaは　conda update -n base conda　でアップデートしました

・参考にしたhttps://mopper27.hatenadiary.org/entry/20181102/1541171288での
「5.Conda環境を読み込む設定追記」についてですが、
jupyter_notebook_config.py をメモ帳で開き、一番下の行に

＃c.NotebookApp.kernel_spec_manager_class

＃c.EnvironmentKernelSpecManager.env_dirs=['C:/Program Files/Anaconda3/envs/']
と追加しました。

NotImplementedErrorを解決したい

- リスト### 前提・実現したいこと


cnnを使って画像認識をやろうとしてますがエラーの内容が理解できません。

### 発生している問題・エラーメッセージ

```
エラーメッセージ
ValueError: Input 0 is incompatible with layer conv2d_33: expected ndim=4, found ndim=3

```

### 該当のソースコード

```ここに言語名を入力
import keras
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers.convolutional import Conv2D, MaxPooling2D
from keras.layers.core import Dense, Dropout, Activation, Flatten
import numpy as np
from sklearn.model_selection import train_test_split
from PIL import Image
import glob

folder = ["0","1","2","3"]
image_size = 28

X = []
Y = []
for index, name in enumerate(folder):
    dir = "./" + name
    files = glob.glob(dir + "/*.jpeg")

  
    for i, file in enumerate(files):
        image = Image.open(file)
        image = image.convert("L")
        image = image.resize((image_size, image_size))
        data = np.asarray(image)
        X.append(data)

        Y.append(index)
     

X = np.array(X)
Y = np.array(Y)

X = X.astype('float32')
X = X / 255.0

Y = np_utils.to_categorical(Y, 4)

X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.20)

model = Sequential()
 
model.add(Conv2D(32, (3, 3), padding='same',input_shape=X_train.shape[1:]))
model.add(Activation('relu'))
model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
 
model.add(Conv2D(64, (3, 3), padding='same'))
model.add(Activation('relu'))
model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
 
model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(4))
model.add(Activation('softmax'))


```

### 試したこと

ここに問題に対して試したことを記載してください。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Conv2Dのエラーについて分からないことがあります

kerasにて画像分類のモデルの作成をしました。
このモデルとkerasの物体検出モデルを作成し、結合させたいのですが可能でしょうか？

既に画像分類モデルが完成しているため、このモデルを生かして新たに作成する検出モデルにも
分類精度を生かしたいと思っています。

イメージとしては

sample001.jpg →　物体検出モデル　→　学習済みの分類モデル　→　検出した上で枠で囲って分類

といった感じです。

Vott,Object detection APIなども試したのですが、精度が低いので、画像分類モデルと物体検出モデルのの結合モデルによる精度を確かめたくてそれが可能かどうか試したいと思っています。

何か参考になるページやgithubがあればご教授お願いいたします。

keras 画像分類　物体検出

### 前提・実現したいこと
ディープラーニングを使って「震災時の道路復旧期間の予測」を行っています。
その中で全111個のデータ中の34個（30％に当たる）のテスト用データを使って、学習から予測を行っていましたが、34個分の予測値がすべて同じ結果になってしまうという問題が発生してしまいました。

### 発生している問題・エラーメッセージ

```python
y_test = model.predict(x_test)
pd.DataFrame(y_test)

#以下は下のコードに対する出力
0	4.853684
1	4.853684
2	4.853684
3	4.853684
4	4.853684
5	4.853684
6	4.853684
7	4.853684
8	4.853684
9	4.853684
10	4.853684
11	4.853684
12	4.853684
13	4.853684
14	4.853684
15	4.853684
16	4.853684
17	4.853684
18	4.853684
19	4.853684
20	4.853684
21	4.853684
22	4.853684
23	4.853684
24	4.853684
25	4.853684
26	4.853684
27	4.853684
28	4.853684
29	4.853684
30	4.853684
31	4.853684
32	4.853684
33	4.853684
```

### 該当のソースコード

```python
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt

# affine変換してる
def affine(z, w, b):
    return np.dot(z, w) + b
# affine変換勾配
def affine_back(du, z, w, b):
    dz = np.dot(du, w.T)
    dw = np.dot(z.T, du)
    db = np.dot(np.ones(z.shape[0]).T, du)
    return dz, dw, db
def sigmoid(u):
    return 1 / (1 + np.exp(-u))
# 活性化関数 (シグモイド )の 勾配，中間層の勾配
def sigmoid_back(u):
    return (1 - sigmoid(u)) * sigmoid(u)
def identity(u):
    return u

# 二乗和誤差：回帰問題
def squared_error(y, u):
    return 0.5 * np.sum((y - u) ** 2) / y.shape[0]
# 誤差 (二乗和誤差）＋活性化関数 (恒等関数 )の勾配
def identity_mean_squared_error_back(y, u):
     return (y - u) / y.shape[0]

# 学習部分
def learn(x, u, w1, b1, w2, b2, w3, b3, lr):
# 順伝播 (入力データから、予測データを求めるまで )
    u1 = affine(x, w1, b1)
    z1 = sigmoid(u1)
    u2 = affine(z1, w2, b2)
    z2 = sigmoid(u2)
    u3 = affine(z2, w3, b3)
    y = identity(u3)

# 重み、バイアスの更新
    w1 = w1 - lr * dw1
    b1 = b1 - lr * db1
    w2 = w2 - lr * dw2
    b2 = b2 - lr * db2
    w3 = w3 - lr * dw3
    b3 = b3 - lr * db3
    return w1, b1, w2, b2, w3, b3

def predict(x, w1, b1, w2, b2, w3, b3):
# 順伝播
    u1 = affine(x, w1, b1)
    z1 = sigmoid(u1)
    u2 = affine(z1, w2, b2)
    z2 = sigmoid(u2)
    u3 = affine(z2, w3, b3)
    y = identity(u3)
    return y

# 実行プログラム
# 地震データ読み込み
df = pd.read_csv('earthquake_B_traffic.csv')

# データの作成 説明変数・目的変数分ける
df_x = df.drop("regulatory period", axis=1)
p= df.drop("damage range", axis=1)
q= p.drop( "embankment height", axis=1)
r= q.drop("landform", axis=1)
s= r.drop("banking structure", axis=1)
t= s.drop("damage form", axis=1)
u= t.drop("traffic", axis=1)
# 説明変数・目的変数をそれぞれ訓練データ・テストデータに分割
pred_train = model.predict(x_train)
pred_test = model.predict(x_test)

# ノード数設定
d0 = x_train.shape[1]
d1 = 30 # 1層目のノード数
d2 = 30 # 2層目のノード数
d3 = 1 #出力層


# 重みの初期化 (-0.1 0.1の乱数 )
np.random.seed(9)
w1 = np.random.rand(d0, d1)*0.001
w2 = np.random.rand(d1, d2)*0.001
w3 = np.random.rand(d2, d3)*0.001
#重みを１~0.001に設定する部分

# バイアスの初期化 (0)
b1 = np.zeros(d1)
b2 = np.zeros(d2)
b3 = np.zeros(d3)
# 学習率
lr = 0.5
# バッチサイズ
batch_size = 30
# 学習回数
epoch =1000

#グラフを 描写リスト
x = [0, epoch]
y = [0.100]
for i in range(epoch):
    for j in range(0, x_train.shape[0], batch_size): w1, b1, w2, b2, w3, b3 = learn(x_train[j:j + batch_size], t_train[j:j + batch_size], w1, b1, w2, b2, w3, b3, lr)
    # 学習 shape[００]は行の大きさを調べている．ここでは， ，77．よって 0~77の範囲でバッチサイズ文のステップ幅で数列を作成

print(i)


# 予測（学習データ）
y_train = predict(x_train, w1, b1, w2, b2, w3, b3)
# 予測（テストデータ）
y_test = predict(x_test, w1, b1, w2, b2, w3, b3)
# 誤差表示
train_err = squared_error(y_train, t_train)
test_err = squared_error(y_test, t_test)
print(i, test_err)
x.append(i)
y.append(train_err)

print(train_err)


# 正解率
def accuracy_rate(y, u):
    max_y = np.argmax(y)
    max_t = np.argmax(u)
    return np.sum(max_y == max_t) / y.shape[0]

print(accuracy_rate)

# 予測（テストデータ）
y_test = predict(x_test, w1, b1, w2, b2, w3, b3)
print(y_test.shape)

# データの作成 説明変数・目的変数分ける
df_x = df.drop("regulatory period", axis=1)
p= df.drop("damage range", axis=1)
q= p.drop( "embankment height", axis=1)
r= q.drop("landform", axis=1)
s= r.drop("banking structure", axis=1)
t= s.drop("damage form", axis=1)
u= t.drop("traffic", axis=1)

# 説明変数・目的変数をそれぞれ訓練データ・テストデータに分割
pred_train = model.predict(x_train)
pred_test = model.predict(x_test)

# 事前準備
from keras.models import Sequential
from keras.layers import Dense, Dropout


# モデルを作るぞ！と宣言
model = Sequential()
model.add(Dense(15, input_dim=6, activation='sigmoid'))
model.add(Dropout(0.2))
model.add(Dense(15, activation='sigmoid'))
model.add(Dropout(0.2))
model.add(Dense(1))
model.compile(optimizer='adam', loss='mse', metrics=['accuracy'])

epochs = 1000
history = model.fit(x=x_train, y=t_train, epochs=epochs, batch_size=11, validation_data=(x_test, t_test))

score = model.evaluate(x_test, t_test, verbose=0)
print('Test loss', score[0])
print('Test accurancy', score[1])


y_test = model.predict(x_test)
pd.DataFrame(y_test)
```

###説明変数5種類で実装
説明変数を5種類に一つ減らして試みたところ、正しく予測値が出力され、
使用したデータの実測値と予測値の比較グラフの表示までできました。
説明変数が一つ変わるだけで予測値の出力が正しく行われないことが解決できないことです。

![![イメージ説明](188bf3909c6d8cd16c44c6f5aa96ada6.png)](6b17b63f56bec213bc9f3257c52bc338.png)




### 補足情報（FW/ツールのバージョンなど）
コードの中身の説明変数は全部で6個、出力値は予測日数

ディープラーニングでの予測値の出力が正しく出力されない

### 前提・実現したいこと

TensorFlow2.0からDefine-by-runに切り替わったことで，さまざまな機能が廃止となりました．
そこで，TensorFlow1.0のソースコードをTensorFlow2.0風に書き直したいです．
書き直すコードはできるだけ簡単なものを選びました．
しかし，あの機能もない，この機能もないといった状態で非常に困難を極めています．
また，インターネット上にも情報が少なく（調べ方が悪いだけかもしれませんが），参考にできるものがありません．
よろしくお願いします．

### 試したこと

- `tf.compat.v1.placeholder`の代わりに`tf.TensorSpec`を使う
- `tf.Variable`の代わりに`tf.keras.backend.variable`を使う
- `tf.compat.v1.train.GradientDescentOptimizer`の代わりに`tf.keras.optimizers.SGD`を使う

### 該当のソースコード

```Python
import numpy as np
import pandas as pd
import tensorflow as tf
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split

# Preparate
boston = load_boston()
df = pd.DataFrame(boston.data, columns=boston.feature_names)
df['target'] = boston.target
X_data = np.array(boston.data)
y_data = np.array(boston.target)
X_data = (X_data - np.mean(X_data, axis=0)) / np.std(X_data, axis=0)
X_data = np.concatenate([np.ones((X_data.shape[0], 1)), X_data], axis=X_data.ndim-1)
X_train, X_test, y_train, y_test = train_test_split(X_data, y_data, test_size=0.2, random_state=42)
y_train = y_train.reshape(-1, 1)
y_test = y_test.reshape(-1, 1)

# Define
X = tf.compat.v1.placeholder(tf.float32, [None, X_data.shape[1]])
Y = tf.compat.v1.placeholder(tf.float32, [None, 1])
W = tf.Variable(tf.ones([X_data.shape[1], 1]))
b = tf.Variable(0.0)
y = tf.add(b, tf.matmul(X, W))
cost = tf.reduce_mean(tf.square(y - Y))
opt = tf.compat.v1.train.GradientDescentOptimizer(learning_rate=0.01)
training_step = opt.minimize(cost)

# Train
sess = tf.compat.v1.Session()
sess.run(tf.compat.v1.global_variables_initializer())
cost_history = np.array([])
for epoch in range(100):
	sess.run(training_step, feed_dict={X:X_train, Y:y_train})
	cost_history = np.append(cost_history, sess.run(cost, feed_dict={X: X_train, Y: y_train}))
	if epoch % 100 == 0:
		W_val = sess.run(W)
		b_val = sess.run(b)

# Predict
for tmp in cost_history:
	print(tmp)
pred_test = sess.run(y, feed_dict={X: X_test})
print(pd.DataFrame({"y_test": y_test[:, 0], "pred_test": pred_test[:, 0]}))
```

### 補足情報（FW/ツールのバージョンなど）

Python 3.6.5

TensorFlow2.0に対応させたい

深層ニューラルネットワークを用いて、4つの説明変数から2つの目的変数に対する回帰を試しています。
目的変数を1つにした場合と比較すると、訓練誤差も汎化誤差も比較にならないほど悪化してしまいます。場合によっては、出力変数ベクトルが全て同一 ((x1, y1) = (x2, y2) = ...(xn, yn)) になってしまうこともあります。
なお、データ数は2万(訓練データ1.6万、テストデータ:0.4万)で、使用しているソフトウェアは keras 、隠れ層の数は5、各層のノード数は32、活性化関数は Relu、最適化アルゴリズムは Adam です。
隠れ層の数を変えたり、各層のノード数を変えてもあまり効果は見られず、困っています。
説明変数の数やデータ数を増やすことは効果があるでしょうか？深層学習を勉強し始めたばかりの素人なのですが、何か予測精度を向上する方法をご存知でしたらご教示頂けますと幸いです。
どうぞよろしくお願い申し上げます。

なお、keras のコードは以下になります。

df = pd.read_csv('./data.csv')
x = df.loc[:, 'f_' : 'g_']
y = df.loc[:, 'x_' : 'y_']

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, shuffle= False)

x_train_mean = x_train.mean(axis=0) # 正規化
x_train_std = x_train.std(axis=0)
x_train -= x_train_mean
x_train /= x_train_std 
y_train_mean = y_train.mean()
y_train_std = y_train.std()
y_train -= y_train_mean
y_train /= y_train_std
x_test -= x_train_mean
x_test /= x_train_std
y_test -= y_train_mean
y_test /= y_train_std

from keras.models import Sequential
from keras.layers import Dense, Activation
model = Sequential()
model.add(Dense(32, activation='relu', input_shape=(x_train.shape[1],))) # 入力層
model.add(Dense(32, activation='relu')) # 隠れ層(5層)
model.add(Dense(32, activation='relu'))
model.add(Dense(32, activation='relu'))
model.add(Dense(32, activation='relu'))
model.add(Dense(32, activation='relu'))
model.add(Dense(2)) # 出力層

from keras.optimizers import adam
model.compile(optimizer = 'adam',  # 最適化アルゴリズム: Adam 
　　　　　　　loss      = 'mse',   # 損失関数: mse（平均二乗誤差）
              metrics   = ['mae']) # 評価関数: mae（平均絶対誤差）

history = model.fit(x_train, y_train,                   # トレーニングデータ
                    batch_size      = 1,                # バッチサイズ
                    epochs          = 100,              # エポック数
                    verbose         = 1,                # ログ出力の指定
                    validation_data = (x_test, y_test)) # テストデータ

model.predict(x_test)

複数の目的変数に対する回帰について

###前提・実現したいこと
こんにちは、
機械学習の画像認識について伺いたいことがあり、質問させていただきます。

CNNという手法で複数画像を一つの入力として読み込ませることは可能でしょうか？

また、可能であればどのようにすれば複数画像を一つの入力とすることができるのでしょうか？

単純に下記のコード(参考サイトより引用)の入力サイズ（※１）や一つ目の畳み込み層のチャネル数（※2）を変更するだけで良いのでしょうか？
普通の入力画像(カラー)の1枚の場合はRGBの3チャネルを入力としていますが、今回は白黒画像複数枚(画像1枚を入力1チャネル)として学習を行いたいと考えております。
```ここに言語を入力
    class Alex(chainer.Chain):

    """Single-GPU AlexNet without partition toward the channel axis."""

    insize = 227 (※１)

    def __init__(self):
        super(Alex, self).__init__(
            conv1=L.Convolution2D(3,  96, 11, stride=4), (※2)
            conv2=L.Convolution2D(96, 256,  5, pad=2),
            conv3=L.Convolution2D(256, 384,  3, pad=1),
            conv4=L.Convolution2D(384, 384,  3, pad=1),
            conv5=L.Convolution2D(384, 256,  3, pad=1),
            fc6=L.Linear(9216, 4096),
            fc7=L.Linear(4096, 4096),
            fc8=L.Linear(4096, 1000),
        )
        self.train = True

    def clear(self):
        self.loss = None
        self.accuracy = None

    def __call__(self, x, t):
        self.clear()
        h = F.max_pooling_2d(F.relu(
            F.local_response_normalization(self.conv1(x))), 3, stride=2)
        h = F.max_pooling_2d(F.relu(
            F.local_response_normalization(self.conv2(h))), 3, stride=2)
        h = F.relu(self.conv3(h))
        h = F.relu(self.conv4(h))
        h = F.max_pooling_2d(F.relu(self.conv5(h)), 3, stride=2)
        h = F.dropout(F.relu(self.fc6(h)), train=self.train)
        h = F.dropout(F.relu(self.fc7(h)), train=self.train)
        h = self.fc8(h)

        self.loss = F.softmax_cross_entropy(h, t)
        self.accuracy = F.accuracy(h, t)
        return self.loss
```

こうした場合に、どのように画像を入力として与えれば良いのかわからない状況です。
機械学習、CNNの根本的な理解が全く足りておらず申し訳有りませんが、どなたかご回答の方よろしくお願いいたします。
###参考サイト
[Qiita「Convolutional Neural Networkを実装する」](http://qiita.com/icoxfog417/items/5aa1b3f87bb294f84bac)
[Chainerによる畳み込みニューラルネットワークの実装](http://aidiary.hatenablog.com/entry/20151007/1444223445)

###補足情報(言語/FW/ツール等のバージョンなど)
CNNは下記の情報処理学会主催の「SamuraiCoding」というゲームAIの大会で用いようと考えております
[Samurai Coding](http://samuraicoding.info/index-jp.html)
具体的にはスプラトゥーンのような3対３のターン制の陣取りゲームでゲーム画面は以下のような感じです。
![イメージ説明](1b3a2055af1e9dbad2c370465a5acb36.png)
実際の対戦では自分のターンに下のようなゲーム情報が渡され、キャラクターの行動を決定し出力するプログラムを書くというものです。
![イメージ説明](c163e5b26f547054bbd8984c32bb300d.png)
ゲームには視界があり自分チーム３人分の視界が得られますが視界外の情報は得られません
![イメージ説明](97581cd61e5d7f78aff8e795e38e41df.png)

そこで大量のログデータからCNNを用いて、敵の位置の予測や次の行動の選択を行おうと考えております。

機械学習CNN 多チャネル(複数画像)を一つの入力とする方法

### 前提・実現したいこと
複数の種類の画像から同一の結果を導く

###質問
大学の研究で深層学習を用いた天気の判別を行っています。雲の集まりのデータを気象庁からダウンロードし、その指標を画像にすることで図示し、深層学習に用いています。
その際に一種類の画像（降水量図など）を用いてこれから雲の集まりが発達して天気が悪くなるか、発達せずによくなるかを研究しています。

質問の内容なのですが、一種類の画像だけでなく、複数の種類の画像を用いて学習させることは可能なのでしょうか（例えば降水量の分布図と雷の発生可能性の図）。
少し分かりづらいかと思いますので例を出すと、体型の異なったピカチュウの耳、しっぽ、足などの画像を複数用意し、ある個体の耳、しっぽ、足の画像で学習、別の個体の耳、しっぽ、足の画像で学習といったように深層学習を進めます。
それらから総合的に判断してこれらの画像がピカチュウのものか、そうでないか、という判断を下すことはできるのでしょうか。