常連

## 前置き
現在高校三年です。パソコンを触るのがとにかく好きで将来はプログラミング関係の仕事をしたいと考えています。（大学も関係のところに向けて検討中です。）
高校に入ってから学校配布のPCがあるためパソコンに触る機会が増えて簡単なプログラミングはできるようになりました。そこで、そろそろ本を買って本格的にやっていきたいと考えてます(受験勉強の合間にｗ)。なので、初心者でも始めやすいおすすめのプログラミングの本を紹介してほしいです！

## 背景、状況
現在使えるのは、pythonでAnaconda Promptやgoogle Colaboratoryなどで、ほんとにめちゃくちゃ基礎しかできないと思っていただけると助かります。（多少のExcelの自動化や指スマ、じゃんけんなどの簡単なゲームくらいは作れます）

pythonメインで勉強していけたらと考えています。
どちらかというとゲーム開発系が好きなのですがパソコン触れたらなんでも好きなのでこれからプログラミング関係に進むなら知っておきたいこととかをまとめた本などがいい気がします。(プログラミングマスターにお任せします。)

正直、これだけの情報でおすすめできるかー！って感じだと思うのですが、不明な点がないよう、できるだけ書いたつもりなので何かあれば返信お願いします。
皆さんのおすすめを待ってます！


初心者向けのプログラミングの文庫を教えてほしい。

Google Colaboratory使用時に、コピーした文字列をセル内に貼り付けしたい(右クリック→貼り付け)のですが、何か良い方法はありませんか？
GPUの割り当ての詳細を見るコードなどを、いちいち打ち込みたくないのですが、仕方ないのでしょうか...

Google Colaboratory利用時の文字列のコピーアンドペーストについて

### 実現したいこと

「ランタイムを再起動」をせずに繰り返し色々なモデルを学習させたい。

### 前提
画像分類タスクを行いたく、google Colaboratoryにてtensorflowを使ってニューラルネットワークを実装しようとしています。
使用言語はPythonです。

コードを実行していくとシステムRAMが激しく消費され、すぐに上限の12.7GBを超えてセッションがクラッシュしてしまいます。
1回分の学習はできますが、パラメータ探索のために、「ランタイムを再起動」で毎回リセットせずとも連続の学習ができるように、メモリの節約や解放の手段が必要だと考えています。

### 発生している問題・エラーメッセージ
システムRAMが急激に消費されるポイントがいくつかあります。それぞれでメモリの節約や解放の方法があれば教えて頂きたいです。

①学習データをマウントしているgoogle Driveから読み込む
ここで2.8GB使っています。この学習データはnumpyのndarray配列であり予めnpz形式で保存しているものです。数千枚の130KB程度の画像が入っていてX_train.npzのサイズは400MBです。400MBの読み込みで7倍メモリを使うものなのか理解できず…。
```Python
import numpy as np
X_train = np.load('/content/drive/MyDrive/X_train.npz')['arr_0']
```

②定義したモデルで学習を行う
モデルの中身で変動しますが3GB前後使います。全結合層や畳み込み層が3層くらいでパラメータのサイズは400KB～10MBです。一回の学習でこれくらい使うのはまあ良いとして、modelを再定義し最初から学習しても消費した分は戻らず増加する一方です。

```Python
epochs = 10
batch_size = 32
result = model.fit(tr_x,tr_y, epochs=epochs, batch_size=batch_size, validation_data=(va_x,va_y))
```

### 試したこと
②については不要になった段階でmodelやresultを削除すれば良いのでは？と思い、ネットで検索し使えそうな以下のコードを実行してみましたが、システムRAMは減りませんでした。
```Python
del model, result
keras.backend.clear_session()
import gc
gc.collect()
```

### 補足情報（FW/ツールのバージョンなど）

google Colabは無料版で、ハードウェアアクセラレータはT4 GPUを選択しています。

google ColaboratoryでシステムRAMがクラッシュしないようメモリ解放したい

Google Colab.の無料GPUでプログラムを実行したところ、メモリ（RAM:12.72GB）が一気に消費されてしまいます。
原因と対策についてご教授いただきたいです。

・コード
```Python
#サマータイム期間外ならデータの時刻を1時間早くする（=サマータイムの時間にあわせる）
import time
new = []
new_append = new.append
elapsed_time = 0
t1 = time.time()

def Summer():
  for i,x in enumerate(data["summer"]):
      if x == "EST": # ESTなら1時間データを早くする 
          new_append(data.iloc[i,0:1]+timedelta(hours=-1))
          new[-1]["time"]=str(new[-1]["time"]) #上で型がdatetime64になるので戻す
      else:          # EDTならそのまま
          new_append(data.iloc[i,0:1])
      if i%20000==0: #進捗確認用に20000データ毎に出力
          print(i)

Summer()
new = pd.DataFrame(new) #【※】ここでメモリ消費が急増
data.iloc[:,0:1] = new["time"]

t2 = time.time()     # 処理後の時刻
elapsed_time = t2-t1 # 経過時間
print(f"経過時間：{elapsed_time}") # 経過時間を表示
```
inputは以下のようなデータです。
・data（長さは実際は400,000程度）
||time|summer|
|:--|:--:|--:|
|0|2019-10-10 06:02:00|EDT|
|1|2020-11-23 06:02:00|EST|

コードの【※】の箇所で120s程度の時間がかかり、メモリ消費が著しく増大します。
dataもnewのバイト数を調べてみましたが、数MB程度でデータ長が原因ではないのかな？と考えております。
（ちなみに、inputの長さが1,000,000を超えたものにすると、クラッシュします・・・）


・原因の確認をしたくて試したこと
１. 実行後に別のセルにて、先ほど宣言した変数をdelで消去しましたが、【※】で増大した分のメモリは解放されませんでした。
    →やはり、変数のデータの長さは関係なさそう？
２. 下記のように一旦別の変数をかませてみてもメモリの増大量はほぼ変わりませんでした。
　  下記のコードの場合、2行目のnew1 = pd.DataFrame(new1)でメモリが増大します。
```Python
new1 = new.copy()
new1 = pd.DataFrame(new1)
new  = data.iloc[:,0:1]
```

メモリが一気に数GB食われる原因と対策

Pythonの実行環境としてGoogle Colaboを利用しています。
画像や映像の処理をしたくて触っているのですが、opencvでの画像表示がなかなか難しそう、という認識は持っています。

動画をフレームごとに切り出して画像として保存、というのをやりたいのですがコラボを使って画像を保存したい場合にはどのようにすればよいか教えていただけないでしょうか。

マウス操作なしでできる画像の保存方法を知りたく思っています。
よろしくお願いします。

Python:Google Colaboにて、画像の保存をするにはどうすればよいでしょうか。

### 内容

Python初心者です
Google Coraboratoryを使用しWebスクレイピングを実行したいと考えております。
Chrome立ち上げまでのコードをネット記事などを参考にして作り、問題なく実行できていたのですが、とある日からエラーが発生するようになりブラウザ立ち上げができなくなりました。
可能でしたらどなたか解決策、また再発防止策を教えていただけますでしょうか。

### 発生している問題・エラーメッセージ

```
WebDriverException: Message: Service chromedriver unexpectedly exited. Status code was: 1
```

### 該当のソースコード

```ここに言語名を入力
from selenium import webdriver
from selenium.webdriver.common.by import By
import time

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
driver = webdriver.Chrome('chromedriver',options=options) #エラー部分

driver.implicitly_wait(10)

driver.get(https://www.google.com)
```

### 試したこと
エラー部分についてネット記事で別のコードを使っているものがあったのですが、こちらのコードも上手く動作しませんでした。
driver = webdriver.Chrome("/usr/lib/chromium-browser/chromedriver",options=options)


### 補足情報
初歩的で申し訳ございませんが、よろしくお願い致します。


Python:Colabにてスクレイピングを行う際にエラーが発生

Pythonで機械学習のコードを書いているのですが、
下記のエラーが発生しており、うまく実行できません。
予測結果を取得　のところで、

AttributeError: 'Sequential' object has no attribute 'predict_classes'

というエラーがでます。
対処方法わかる方がいらっしゃれば教えていただけますでしょうか。
コードは下記の通りです。
よろしくお願いいたします。

```python

# 予測結果を取得
y_pred = model.predict_classes(X_test)

# 混同行列を作成pa
cnf_matrix = confusion_matrix(y_test, y_pred)

# 混同行列を描画
sns.heatmap(cnf_matrix, annot=True, fmt='d', cmap='summer')
plt.xlabel("prediction")
plt.ylabel("target")
plt.show()

```

```python
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-131-3f14d059f4b0> in <module>()
      1 # 予測結果を取得
----> 2 y_pred = model.predict_classes(X_test)
      3 
      4 # 混同行列を作成
      5 cnf_matrix = confusion_matrix(y_test, y_pred)

AttributeError: 'Sequential' object has no attribute 'predict_classes'
```



```Python
# 数値計算用ライブラリ numpy をインポート
import numpy as np

# データフレームを提供するライブラリ pandas をインポート
import pandas as pd

# 機械学習用ライブラリ sklearn（scikit-learn）内にあるライブラリ  から
# モデル構築（訓練用）/検証データ分割用メソッド train_test_split をインポート
from sklearn.model_selection import train_test_split

# 自分のデータを読み込むために便利なメソッドをインポート
import os
import re
from tensorflow.keras.preprocessing.image import array_to_img, img_to_array, load_img

# ディープラーニング用フレームワーク、TensorFlow のラッパーである
# keras をインポート
from tensorflow.keras.models import Sequential, Model, load_model
from tensorflow.keras.layers import Dense, Conv2D, MaxPool2D, Flatten, Dropout, BatchNormalization, Activation
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.datasets import cifar10
from tensorflow.keras.callbacks import ModelCheckpoint, EarlyStopping
from tensorflow.keras.preprocessing.image import ImageDataGenerator

# 描画用ライブラリをインポート
import matplotlib.pyplot as plt
import seaborn as sns
from matplotlib import gridspec, cm

# 混合行列作成用メソッド confusion_matrix をインポート
from sklearn.metrics import confusion_matrix

def list_pictures(directory, ext='jpg|jpeg|bmp|png|ppm'):
    return [os.path.join(root, f)
            for root, _, files in os.walk(directory) for f in files
            if re.match(r'([\w]+.(?:' + ext + '))', f.lower())]
```
```ここに言語を入力
#モデルの構造を定義
def define_model():
  model = Sequential()
  model.add(BatchNormalization(input_shape=(96, 96, 3)))
  model.add(Conv2D(filters=32, kernel_size=(3,3), strides=(1,1)))
  model.add(BatchNormalization())
  model.add(Activation('relu'))
  model.add(Conv2D(filters=32, kernel_size=(3,3), strides=(1,1)))
  model.add(BatchNormalization())
  model.add(Activation('relu'))
  model.add(MaxPool2D(pool_size=(2,2)))
  model.add(Dropout(0.2))

  model.add(Conv2D(filters=64, kernel_size=(3,3), strides=(1,1)))
  model.add(BatchNormalization())
  model.add(Activation('relu'))

  model.add(Conv2D(filters=64, kernel_size=(3,3), strides=(1,1)))
  model.add(BatchNormalization())
  model.add(Activation('relu'))
  
  model.add(Conv2D(filters=64, kernel_size=(3,3), strides=(1,1)))
  model.add(BatchNormalization())
  model.add(Activation('relu'))
  model.add(MaxPool2D(pool_size=(2,2)))
  model.add(Dropout(0.2))

  model.add(Flatten())

  model.add(Dense(256, activation="relu"))
  model.add(Dropout(0.2))
  model.add(Dense(256, activation="relu"))
  model.add(Dropout(0.2))
  model.add(Dense(2, activation='softmax'))

  return model

model = define_model()
```

```Python
model.compile(loss='sparse_categorical_crossentropy', optimizer=Adam(lr=0.005), metrics=['sparse_categorical_accuracy'])

```

```Python

datagen = ImageDataGenerator(rotation_range=30, width_shift_range=0.3, height_shift_range=0.3, horizontal_flip=True)
datagen.fit(X_train)

#　訓練を実行（訓練しながら ImageDataGenerator が機能し、Data Augumentation を行っている）
batch_size = 10
valid_samples = 25
train_samples = len(X_train) - valid_samples
mc = ModelCheckpoint("cnn_model_02.h5", monitor="val_loss", save_best_only=True, verbose=1)
es = EarlyStopping(monitor='val_loss', patience=15)
hist = model.fit_generator(datagen.flow(X_train[:train_samples], y_train[:train_samples], batch_size=batch_size),
                           steps_per_epoch= train_samples / batch_size,
                           epochs=40,
                           callbacks=[mc, es],
                           validation_data=datagen.flow(X_train[-valid_samples:], y_train[-valid_samples:], batch_size=batch_size),
                           validation_steps=valid_samples / batch_size)
```

'Sequential' object has no attribute 'predict_classes'　Pythonエラーの解決

## 問題点
Google Colaboratoryを使用し、SVMを回したいと考えております。
ノートブックの設定からGPUに接続し、実際にまわしたました。

すると、既に30分以上回しているのですが、処理が終了しないうえに
> 警告: GPU ランタイムに接続していますが、GPU は使用されていません

というメッセージが出てきました。

さらに、アクティブなセッションというところをみると、1.82GB/12.72GBのRAMが使用中となっております。

ちゃんとGPU,RAMを存分に使ってほしいのですが、何か設定が間違っていたりするのでしょうか？またはSVMはRAMを使うような処理をしないのでしょうか？

##コード
実際に回しているセルは以下の通りです。

```python
from sklearn import svm
sv = svm.SVC()
sv.fit(X_train, y_train)
#X_trainは215287×137 , 215287×1のnumpy.ndarray形式
```