常連

注目の的

質問力

### 前提・実現したいこと

opencvを使ったウェブカメラから得られる動画を保存するプログラムです。
opencvのサンプルプログラムは正常に動いたのですが、640*480から320*240に解像度を変えるとエラーが出ました。
320*240の解像度で動画を保存したいです。

### 発生している問題・エラーメッセージ
OpenCV Error: Assertion failed (img.cols == width && img.rows == height && channels == 3) in cv::mjpeg::MotionJpegWriter::write, file C:\build\master_winpack-bindings-win64-vc14-static\opencv\modules\videoio\src\cap_mjpeg_encoder.cpp, line 837
Traceback (most recent call last):


### 該当のソースコード
fourcc = cv2.VideoWriter_fourcc(*'MJPG')
out = cv2.VideoWriter('output.avi',fourcc, 120.0, (320,240))
```python2.7
import numpy as np
import cv2

cap = cv2.VideoCapture(0)

fourcc = cv2.VideoWriter_fourcc(*'MJPG')
out = cv2.VideoWriter('output.avi',fourcc, 120.0, (320,240))

while(cap.isOpened()):
    ret, frame = cap.read()
    if ret==True:
        out.write(frame)

        cv2.imshow('frame',frame)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    else:
        break
cap.release()
out.release()
cv2.destroyAllWindows()
```

### 試したこと

元のソースコードは解像度が640*480で、そのときは問題なく起動しました。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

画像サイズを変えるとエラーが出ます。

現在、データセット作成のためOpenCVを使い画像を撮影して大量に保存しようと考えています。また、私が作成したDeep Learningでは正方形の画像を使用するため、撮影する画像も正方形になるようにしようと考えました。フレームサイズの変更は以下のURLを参考にしました。
[参考URL](https://qiita.com/Kazuhito/items/cc6b8a0bd75cf9689bf9)
作成したコードは以下の通りです。
```
import cv2
import os
import datetime

def save_frame_camera_cycle(device_num, dir_path, basename, cycle, ext='jpg', delay=1, window_name='frame'):
    cap = cv2.VideoCapture(device_num)
    cap.set(cv2.CAP_PROP_FRAME_WIDTH, 300) # カメラ画像の横幅
    cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 300) # カメラ画像の縦幅
    if not cap.isOpened():
        return

    os.makedirs(dir_path, exist_ok=True)
    base_path = os.path.join(dir_path, basename)

    n = 0
    while True:
        ret, frame = cap.read()
        cv2.imshow(window_name, frame)
        if cv2.waitKey(delay) & 0xFF == ord('q'):
            break
        if n == cycle:
            n = 0
            cv2.imwrite('{}_{}.{}'.format(base_path, datetime.datetime.now().strftime('%Y%m%d%H%M%S%f'), ext), frame)
            
        n += 1

    cv2.destroyWindow(window_name)


save_frame_camera_cycle(0, './data/', 'camera_capture_cycle', 1)
```

上記のプログラムを動かしたところ、画像自体は正方形ではありませんでした。カメラ画像の枠設定とは保存する画像の枠設定ということではないのでしょうか。また、cv2.resize以外で正方形にする方法はないのでしょうか。教えていただけると助かります。

OpenCVで正方形の画像を保存したい

pythonでCNNの勉強をしています。

pycharmでCNNを動かした際には動作の確認はできましたが、colabで実行した際にはエラーが起きました。

これはcolabの不具合なのでしょうか？
それともcolabとpycharmの違いによってなにかの記述方法が間違ってるのでしょうか？


※以前は動かせたのですが、パラメータを調整していたら、動かなくなりました。

```python
!pip install -U -q PyDrive

from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials

auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)


id = ''  # 共有リンクで取得した id= より後の部分
downloaded = drive.CreateFile({'id': id})
downloaded.GetContentFile('Group1.zip')

!unzip Group1.zip

id = ''  # 共有リンクで取得した id= より後の部分
downloaded = drive.CreateFile({'id': id})
downloaded.GetContentFile('Group2.zip')

!unzip Group2.zip


id = ''  # 共有リンクで取得した id= より後の部分
downloaded = drive.CreateFile({'id': id})
downloaded.GetContentFile('Group3.zip')

!unzip Group3.zip


from sklearn.model_selection import train_test_split
from PIL import Image
import glob
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import Dense, Activation, Dropout, Flatten,Conv2D, MaxPooling2D
from keras.layers.normalization import BatchNormalization
import numpy as np
import matplotlib.pyplot as plt


folder = ["Group1", "Group2", "Group3"]
image_size = 100
class_num = 3

X = []
Y = []
for index, name in enumerate(folder):
    dir = "./" + name
    files = glob.glob(dir + "/*.jpg")
    for i, file in enumerate(files):
        image = Image.open(file)
        image = image.convert("RGB")
        image = image.resize((image_size, image_size))
        data = np.asarray(image)
        X.append(data)
        Y.append(index)

X = np.array(X)
Y = np.array(Y)


X = X.astype('float32')
X = X / 255.0


# 正解ラベルの形式を変換
Y = np_utils.to_categorical(Y, class_num)


# 学習用データとテストデータ
X_train, x_test, Y_train, y_test = train_test_split(X, Y, test_size=0.15)
x_train, x_val, y_train, y_val = train_test_split(X_train, Y_train, test_size=0.1)

# CNNを構築
model = Sequential()

model.add(Conv2D(filters=96, kernel_size=(11, 11), padding='same', input_shape=(image_size, image_size, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2)))
model.add(BatchNormalization())
model.add(Conv2D(filters=256, kernel_size=(11, 11), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2)))
model.add(BatchNormalization())
model.add(Conv2D(filters=385, kernel_size=(3, 3), activation='relu'))
model.add(BatchNormalization())
model.add(Conv2D(filters=385, kernel_size=(3, 3), activation='relu'))
model.add(BatchNormalization())
model.add(Conv2D(filters=256, kernel_size=(3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2)))
model.add(Conv2D(filters=385, kernel_size=(3, 3), activation='relu'))
model.add(BatchNormalization())

model.add(Flatten())
model.add(Dense(4096, activation='relu'))
model.add(Dropout(0.4))
model.add(BatchNormalization())
model.add(Dense(4096, activation='relu'))
model.add(Dropout(0.4))
model.add(BatchNormalization())
model.add(Dense(1000, activation='relu'))
model.add(Dropout(0.4))
model.add(BatchNormalization())
model.add(Dense(class_num, activation='softmax'))


model.summary()

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

epochs = 1
batch_size = 32

history = model.fit(x_train, y_train, batch_size=batch_size, epochs=epochs, verbose=1, validation_data=(x_val, y_val))

#評価 & 評価結果出力
print('loss, accc', model.evaluate(x_test, y_test))


loss = history.history['loss']
val_loss = history.history['val_loss']
epochs = len(loss)
plt.plot(range(epochs), loss, marker = '.', label = 'loss')
plt.plot(range(epochs), val_loss, marker = '.', label = 'val_loss')
plt.legend(loc = 'best')
plt.grid()
plt.xlabel('epoch')
plt.ylabel('loss')
#plt.savefig('epochs.pdf')
plt.show()引用テキスト


acc = history.history['acc']
val_acc = history.history['val_acc']
epochs = len(acc)
plt.plot(range(epochs), acc, marker = '.', label = 'acc')
plt.plot(range(epochs), val_acc, marker = '.', label = 'val_acc')
plt.legend(loc = 'best')
plt.grid()
plt.xlabel('epoch')
plt.ylabel('acc')
#plt.savefig('epochs.pdf')
plt.show()

```

```error
ValueError: Error when checking input: expected conv2d_1_input to have 4 dimensions, but got array with shape (0, 1)
```

Google ColaboratoryでCNNを動かすとエラーが起きる

### 前提・実現したいこと
Google Colaboratory上でpythonによる深層学習のコードを書いています。肯定的、否定的という二値のラベルが付いた映画レビューをリストにまとめるコードです。

具体的に言うと、IMDb(Internet Movie Database)データをテキストとしてダウンロードして展開し、個々の映画レビューを文字列のリスト(texts)にまとめ、映画レビューのラベル（肯定的、否定的）をlabelsリストにまとめます。

しかし、参考書に書いてある通りにコードを実行するのですが、エラーが出るか、実行中状態が続き、完了しません。同じ操作を何度か実行するのですが、完了はしません。コードをどう改造すれば良いですか？

恐らく参照するファイルが25000個(1フォルダに12500個。それが２フォルダあります）あり、数が膨大なためだと思います。GoogleColaboratoryのよくある質問に「Google ドライブのオペレーションは、フォルダ内のファイル数やサブフォルダ数が増えすぎるとタイムアウトすることがあります。」と書いてありました。

しかし今後、大量のファイルを使った深層学習をGoogle Colaboratory上で行いたいと考えています。研究や業務でGoogle Colaboratryを使い、大量のファイルを操作している人もいるはずです。どうすれば、それが可能になるか教えてください。

### 発生している問題・エラーメッセージ

エラーの場合、以下のような文言が出ます。
```
OSError: [Errno 5] Input/output error: 'drive/My Drive/Colab Notebooks/aclImdb/train/neg/' site:stackoverflow.com
```

### 該当のソースコード

```python
from google.colab import drive
drive.mount('/content/drive')

import os

imdb_dir = 'drive/My Drive/Colab Notebooks/aclImdb'
train_dir = os.path.join(imdb_dir, 'train')

labels = []
texts = []

for label_type in ['neg', 'pos']:
    dir_name = os.path.join(train_dir, label_type)
    for fname in os.listdir(dir_name):
        if fname[-4:] == '.txt':
            f = open(os.path.join(dir_name, fname))
            texts.append(f.read())
            f.close()
            if label_type == 'neg':
                labels.append(0)
            else:
                labels.append(1)
```

### 試したこと
■「よくある質問」に以下のことが書いていました。（https://research.google.com/colaboratory/faq.html#drive-timeout）
Google ドライブのオペレーションは、フォルダ内のファイル数やサブフォルダ数が増えすぎるとタイムアウトすることがあります。数千件ものアイテムが最上位の「マイドライブ」フォルダの直下にあると、ドライブのマウント処理がタイムアウトする可能性が高くなります。

そこで、最上位のマイドライブフォルダ直下には計１０個のフォルダとファイルしか置いていません。その状態でコードを実行しましたが、症状は改善されませんでした。

■一気に12500ファイルに順番にアクセスするコードが駄目なのかと思い、ファイルを１個ずつの束にして、１束ずつアクセスするように、コードを下記のように書き直しました。しかし、失敗しました。

ただし、１フォルダ当たりの中身をファイル500個に減らして（つまり２フォルダでファイル1000個）、下記のコードを実行すると成功しました。（ちなみに、最初に書いたコードを実行すると失敗。つまり、１個ずつの束にすることに、意味はあったのかなと考えています）

```python
from google.colab import drive
drive.mount('/content/drive')

import os
import math

def split_list(l, n):
    for idx in range(0, len(l), n): 
        yield l[idx:idx + n]

imdb_dir = 'drive/My Drive/Colab Notebooks/aclImdb'
train_dir = os.path.join(imdb_dir, 'train')

labels = []
texts = []
dir_name = []
result = []

for label_type in ['neg', 'pos']:
    dir_name = os.path.join(train_dir, label_type)
    #dir_nameを1fileずつのbatchに加工します
    result = list(split_list(os.listdir(dir_name), 1))
    for x in result:
        for fname in x:
            # print(fname)
            if fname[-4:] == '.txt':
                f = open(os.path.join(dir_name, fname))
                texts.append(f.read())
                f.close()
                if label_type == 'neg':
                    labels.append(0)
                else:
                    labels.append(1)
```
### 補足情報（FW/ツールのバージョンなど）
参考書は『PythonとKerasによるディープラーニング』。コードは下記URLのIn [6]です。タイトルは「Download the IMDB data as raw text」

https://github.com/fchollet/deep-learning-with-python-notebooks/blob/master/6.1-using-word-embeddings.ipynb

Google Colaboratory上で大量のファイルを参照（open(), .read）しようとすると、動かなくなります

自分のPCを使って画像分類を行なっているのですが、とても時間がかかってしまっているので、google colaboratoryを使って行おうと思っています。
画像が1万枚ほどあるのですが、これをアップロードして分類を行うためにはどうすればよいのでしょうか。
また、他のファイルの中のプログラムをimportしてそれを使うということをしていたのですが(toolというファイルの中にpredict.pyというプログラムがあり、そのファイルの外にあるプログラムmain.pyの中で「from tool import predict as pr」のように使っていました) 、同じようなことをgoogle colaboratory上で出来ますか。

google colaboratory上で手元の画像ファイルを用いて分類を行いたい

ThesorFlow、機械学習の初学者です。TensorFlowの公式サイトを参照し、実装しながら学んでいます。
とりあえず、ここ「[はじめてのニューラルネットワーク：分類問題の初歩](https://www.tensorflow.org/tutorials/keras/classification?hl=ja)」を実装して、耳にしたことがあるMobileNetV2がどんなものか知りたくて確認している最中です。

最終的には、画像分類をしたいと思っています。（例えば「3」の数字が何であるか予測するような）
TensorFlow公式のMobileNetV2を使用したサイト[Transfer learning with a pretrained ConvNet](https://www.tensorflow.org/tutorials/images/transfer_learning?hl=ja)では、モデルを評価したところで説明は終了？していました。その次のステップとして、どのように特定の画像をそのモデルで画像分類する？予測する？とか、ないのでしょうか。
私は、まさにそこ（実際に画像分類して正解を確かめるところ）を知りたいのですが。

初歩的な質問で（変な質問をしていたら）お恥ずかしいですが、MobileNetV2で画像分類まで説明しているサイトなどがあれば、アドバイスをお願い致します。（それとも、画像分類は、最初に実装したサイトの方法でできるのでしょうか）

また、私のような超初級レベルで、最初に読むべき教科書的な参考書があれば、こちらもアドバイスをお願い致します。今は、本屋でよく見かける以下の本などを考えています。

scikit-learnとTensorFlowによる実践機械学習
Pythonではじめる機械学習 ―scikit-learnで学ぶ特徴量エンジニアリングと機械学習の基礎

転移学習した後のモデルで、特定の画像を予測するには？（TensorFlow）

### 前提・実現したいこと

kerasで学習済みのモデルを使って新しいデータの学習を行いたいのですが、うまくいっていないためこちらで質問させていただきます。
学習済みモデルの下5層を削除し、Flatten層と全結合層を追加したいのですが、以下のコードを実行し、model.summaryを確認すると学習済みモデルがそのまま表示されます。
どうすれば上記のやりたいことを実現できるかご教示いただけないでしょうか。
初めての試みのため、説明や理解に不足があるかと思いますが、ご確認いただけますと幸いです。

### 該当のソースコード

```Python
from glob import glob
import warnings

import keras
from keras.datasets import mnist
from keras.models import Sequential, load_model, Model
from keras.layers import Dense, Dropout, Activation, Flatten
from keras.layers import Conv2D, MaxPooling2D
from keras.models import load_model
from keras.optimizers import SGD, Adam
from keras.callbacks import EarlyStopping, ModelCheckpoint, ReduceLROnPlateau, CSVLogger, LearningRateScheduler
from keras.utils import np_utils

import h5py

#学習済みモデルの読み込み
model = load_model('./models/mnist_vgg8_arcface_3d/original_model.hdf5', custom_objects={'ArcFace': ArcFace})

#学習済みモデルの下から5層を削除（うまくいっていない）
model.layers.pop()
model.layers.pop()
model.layers.pop()
model.layers.pop()
model.layers.pop()

#学習済みモデルの23層までは再学習を行わない（これはうまくいっている様子）
for i in range(24):
    model.layers[i].trainable=False

#Flatten層と全結合層の追加（うまくいっていない）
input_shape=(28, 28, 1)
image = Input(shape=input_shape, name='model_input')
x = Flatten()(image)
Dense(1, activation='sigmoid', name='ALOCC')(x)
model = Model(inputs=model.input, outputs=model.output)

model.summary()
```