常連

### 実現したいこと
SSH先のPCでコンテナ内で実行したい.ipynbファイルをVSCode上で操作する際、実行時間が長い場合にバックグラウンドで実行できるようにする方法を知りたいです。

### 発生している問題・分からないこと
バックグラウンドで動作をするか試すために、下のようなpython のスクリプトを作成しました。
とりあえず行いたいこととして具体的には次のようになります。

sleep をしている間にvscode のタブを閉じ、3分後くらいに再度「実行中のコンテナにアタッチ」よりコンテナに入り、グラフがノートブック上に表示されているようにしたいです。



### 該当のソースコード

```python
# %%
from time import sleep
import matplotlib.pyplot as plt
import numpy as np

# %%
sleep(30)

# %%
x = np.arange(-10, 10, 0.1)
y = np.sin(x)
plt.plot(x,y) 
plt.show()


```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [ ] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [x] その他

##### 上記の詳細・結果
試したこととして、[SSH接続＋VSCodeでのJupyterカーネルのバックグラウンド実行 for Kaggler](https://qiita.com/shu421/items/9c58aefe97087756bc39)に書いてあるように

```ターミナル
nohup jupyter notebook --allow-root &
```
を実行し

0. 番号リスト`nohup.out`に書いてあるリンクをコピー
1. vscode 上で今回用いるipynb ファイルを開いたときに右上にあるカーネル選択のところから、「別のカーネルを選択」
2.  「既存のJupyter サーバー」を選択
3. 手順1でコピーしたURLを張り付ける
4. サーバの表示名を適当に設定
5. カーネルとして「Python3 (ipykernel)」を選択

という実行準備までを行い、vscode のjupyter ファイルを開いたときに出る「すべてを実行」を押しすぐにタブを閉じ数分待機しました。そして、再度コンテナに入りそのjupyter ファイルを開いてみたのですが、plot はされていませんでした。

- 「すべてを実行」を押したあと、閉じずに動作させたままにすると正常に動作しplot されました。
- jupyter notebook の方もブラウザで開くことができました
- 「すべてを実行」を押したあとにvscode のタブを閉じるとブラウザのJupyter Notebook は開けなくなりました。
- 再度コンテナに入った際に下のコマンドでJupyter Notebook 一覧を見るとnohup を用いて作成したJupyter Notebook が残っていることは確認しました。
```ターミナル
jupyter notebook list
```


### 補足
`nohup`を用いた方法にこだわっているわけではないので、もっとやりやすい方法などがあればそちらでも大丈夫です。

追記

例えば、学習ループの実行時間が長く、学習ループの中で学習曲線を適宜描きたい(plotではなく、保存でもOK)という状況のときにこの処理をバックグラウンドでも正しく画像がplotまたは保存されるようにしたいです。画面を閉じることによって、学習がストップするという状況を避けたいということです。

Vscode のJupyter をバックグラウンドで実行したい

## テーマ、知りたいこと

機械学習の初心者なのですが、業務で用いることになりそうなので、勉強方法や教材を教えていただきたいです。

## 背景、状況

今までjavaでソフトウェア開発をしていたのですが、人員不足の関係で、機械学習を扱っているプロジェクトへの参画を要望されました。そのプロジェクトでは基本的にテーブルデータを扱っているようです。
pythonは学生時代に軽く触れた+最近numpy、pandasを練習しているという状態です。理論面も並行して勉強したいのですが、とりあえずコード面を優先して勉強したいです。何かいい勉強法、教材等あれば教えていただきたいです。
ご教示お願いいたします。🙇‍♂️


機械学習のコード面の勉強法

### 実現したいこと
Colab上で精度よく（val_accuracyで0.9以上）分類されるのに、モデルをtensorFlowLiteに変換してスマホに組み込むと精度が大幅に低下した（ほとんど区別ができなくなった）。その理由や解決方法（あれば）を知りたい。また、もし簡単な解決方法がなければそのことを知りたい。

### 発生している問題・分からないこと
　Colab上で精度よく（val_accuracyで0.9以上）分類されるのに、モデルをtensorFlowLiteに変換してスマホに組み込むと精度が大幅に低下する（ほとんど区別ができなくなる）。その理由や解決方法を知りたい。なお、ImageDataGeneratorを用いていたときはそういうことはなかったが、非推奨になったためimage_dataset_from_directory　を用いたところ、この問題が発生した。
　「車のドアミラーが開いているか閉じているかを判定する」という画像分類において、Colab上では下記のように非常によく分類できるモデルを作ることができた。ところがスマホに組み込んでdrawableに置いたdata_dirの画像（つまり、モデル作成時に用いた画像）を分類させると正答率が25%（2択の問題なのに不正解のほうが多い）となった。調べると、ドアミラーが閉じている写真は全て「open」、開いている写真の半分は「open」残りの半分は「closed」に分類される状況であった。
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2024-10-15/b22fe58f-e95a-4c74-a9d3-5826abdf59ff.png)




### 該当のソースコード

```Python
#モデル作成およびTFLiteモデルに変換するときのコード（Colab）
import tensorflow as tf
import keras
from tensorflow.keras import layers
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten, Conv2D, MaxPooling2D, BatchNormalization
from keras.applications.vgg19 import VGG19
from tensorflow.keras.preprocessing.image import ImageDataGenerator

from google.colab import drive
drive.mount('/content/drive')

vgg19 = VGG19(include_top=False,weights='imagenet',input_shape=(224,224,3),pooling=None)
for layer in vgg19.layers:
    layer.trainable = False

data_dir = '/content/drive/MyDrive/mirror1001/test'

batch_size = 32
img_height = 224
img_width = 224

train_ds = tf.keras.utils.image_dataset_from_directory(
  data_dir,
  validation_split=0.2,
  subset="training",
  seed=123,
  image_size=(img_height, img_width),
  batch_size=batch_size)

val_ds = tf.keras.utils.image_dataset_from_directory(
  data_dir,
  validation_split=0.2,
  subset="validation",
  seed=123,
  image_size=(img_height, img_width),
  batch_size=batch_size)

class_names = train_ds.class_names
print(class_names)

AUTOTUNE = tf.data.AUTOTUNE

train_ds = train_ds.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
val_ds = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

data_augmentation = keras.Sequential(
  [
    layers.RandomRotation(0.02),
    layers.RandomZoom(0.02),
  ]
)

model = Sequential()
model.add(data_augmentation)

# Instantiate the sequential model and add the VGG19 model:
model.add(vgg19)

model.add(Dense(128, activation='relu',input_shape=(224,224)))

# Add the custom layers atop the VGG19 model:
model.add(Flatten(name='flattened'))
model.add(Dropout(0.5, name='dropout'))
model.add(Dense(2, activation='softmax', name='predictions'))


model.compile(
  optimizer='adam',
  loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),
  metrics=['accuracy'])

model.fit(
 train_ds,
  validation_data=val_ds,
  epochs=12
)

!mkdir -p /content/saved_model
model.save('/content/saved_model/myModel.keras')


converter = tf.lite.TFLiteConverter.from_keras_model(model)
tflite_model = converter.convert()

with open('Model1015b.tflite', 'wb') as f:
  f.write(tflite_model)

```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [ ] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [x] その他

##### 上記の詳細・結果
ImageDataGeneratorを使わない場合に精度が低下することについての情報を見つけることができなかった。
データの入れ替え、データ拡張を追加するなど行ったが、精度が向上することはなかった。いくつか試した中では、２つのカテゴリーがほとんど区別できない場合や、上記で挙げたようにほとんど逆の判定をする場合などがあった。

### 補足
特になし

tensorFlowLiteに変換すると画像分類の精度が大幅に落ちる

```ここに言語を入力
#stopwordsの指定
!wget http://svn.sourceforge.jp/svnroot/slothlib/CSharp/Version1/SlothLib/NLP/Filter/StopWord/word/Japanese.txt

with open("/content/Japanese.txt","r") as f:
    stopwords = f.read().split("\n")

#Neologdによるトーカナイザー(リストで返す関数・名詞のみ)
def mecab_tokenizer(text):

    replaced_text = text.lower()
    replaced_text = re.sub(r'[【】]', ' ', replaced_text)       # 【】の除去
    replaced_text = re.sub(r'[（）()]', ' ', replaced_text)     # （）の除去
    replaced_text = re.sub(r'[［］\[\]]', ' ', replaced_text)   # ［］の除去
    replaced_text = re.sub(r'[@＠]\w+', '', replaced_text)  # メンションの除去
    replaced_text = re.sub(r'\d+\.*\d*', '', replaced_text) #数字を0にする

    path = "-d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd"
    mecab = MeCab.Tagger(path)
    parsed_lines = mecab.parse(replaced_text).split("\n")[:-2]
    
    # #表層形を取得
    # surfaces = [l.split('\t')[0] for l in parsed_lines]
    #原形を取得
    token_list = [l.split("\t")[1].split(",")[6] for l in parsed_lines]
    #品詞を取得
    pos = [l.split('\t')[1].split(",")[0] for l in parsed_lines]
    # 名詞,動詞,形容詞のみに絞り込み
    target_pos = ["名詞"]
    token_list = [t for t, p in zip(token_list, pos) if p in target_pos]
    
    # stopwordsの除去
    token_list = [t for t in token_list if t  not in stopwords]
    
    # ひらがなのみの単語を除く
    kana_re = re.compile("^[ぁ-ゖ]+$")
    token_list = [t for t in token_list if not kana_re.match(t)]
    
    return token_list
    
 #df全体に対してmecab_tokenizerを適用し、形態素解析を行なったリストを返す関数
def make_docs(df,column_number):
    docs=[]
    for i in range(len(df)):
        text = df.iloc[i,column_number]
        docs.append(mecab_tokenizer(text))
    return docs

#形態素解析の実行
docs_keiei_2203_lda = make_docs(df,2)
コード
```

上記のようなコードを記述すると
[Errno 2] No such file or directory: '/content/Japanese.txt'
のエラーが出ます。対処方法を教えていただきたいです。

[Errno 2] No such file or directory: '/content/Japanese.txt'　の対処方法

### 実現したいこと

機械学習の勉強中です。
スッキリわかる機械学習の本の通りに学習を進めています。

実行環境
Jupiterラボ
Python　Version　3.11.3
性別のSex列には「make」または「female」といった値が入っています。
import pandas as pd
df = pd.read_csv('Survived.csv')

male = pd.get_dummies(df['Sex'], drop_first = True)
male

とすると
データフレームの表示を見るとmale列は0,1ではなく　TrueまたはFalseという値が表示されます。

何ででしょうか？
教科書通り実施しているのですが、新しくファイルを作り直しても同じでした。

Trueを1、Falseは0で表示させるにはどのようにしたらよいでしょうか？



### 前提

ここに質問の内容を詳しく書いてください。
（例）
TypeScriptで●●なシステムを作っています。
■■な機能を実装中に以下のエラーメッセージが発生しました。

### 発生している問題・エラーメッセージ

```
エラーメッセージ
```

### 該当のソースコード

```ここに言語名を入力
ソースコード
```

### 試したこと

ここに問題に対して試したことを記載してください。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。


Pandas ダミー変数化で0または1にならず、TrueまたはFalseになる

DNN分野では「End-to-end training」という言葉がよく出てきますが、
公式的な解釈はなく、個別な解釈を読んでも、分かるような分からないような気分です。

原因は恐らく反対の概念**「End-to-endではないtraining」**は何ですか
というのは分かっていないためかなと思います。

どなたかご解釈いただけませんか。

「End-to-end training」 とは？

### 実現したいこと

csvをpandasで読み込み、それを学習データとして機械学習する予定です。
しかし元々のcsvファイルの列名に一部数値だけの列（1, 2, 3, ･･･）が2つあります。

入口0, 1, 2, 3, ･･･, 出口0, 1, 2, 3, ･･･

というような感じです。これでは同名の列があり厄介なので加工しようと考えています。
そこで私がしたいことは

入口0, 入口1, 入口2, 入口3, ･･･, 出口0, 出口1, 出口2, 出口3, ･･･

という感じです。
そのため1からfor文を回そうとおもい実行したのですがPerformanceWarningが出てしまいました。

### 発生している問題・エラーメッセージ

```
PerformanceWarning: DataFrame is highly fragmented.  This is usually the result of calling `frame.insert` many times, which has poor performance.  Consider joining all columns at once using pd.concat(axis=1) instead.  To get a de-fragmented frame, use `newframe = frame.copy()`
```

### 該当のソースコード

```Python
df_1 = df.iloc[:, 17:160]

for i in range(1, 144, 1):
    df[f'入口{i}'] = df_1[f'{i}']
```

### 試したこと

ここに問題に対して試したことを記載してください。

### 補足情報（FW/ツールのバージョンなど）

ソースコードに.iloc[:, 17:160]とあるのですがこれはdfに入口の数値と出口の数値がありこのままではどの数値の列名を変更するのかわからないので一度ilocで入口にあたる列を全て取得した上でfor文を回し列名を変更しています。

DataFrame is highly fragmentedの回避方法を教えてください

#XGBoostの各データの割合はどの程度にするのが一般的になりますか?
先日運用パラメータの選定でtrain/validation/test用いて検証すると良いとのアドバイスを頂きまして試そうと考えています。


現状は以下の様な割合で考えています。
- train      80%
- validation 10%
- test       10%


##併せて学習した結果の受け取り方としてはvalidationとtestデータの正解率をどの様に考えると良いでしょうか?


結果例 1
validation	正解率60%
test 		正解率60%

結果例 2
validation 	正解率70%
test 		正解率50%

結果例 3
validation 	正解率50%
test 		正解率70%


上記の様な結果例の場合、正解率の差が小さい方(結果例1)が良いと考えているのですがあっていますか?
validationとtestの差が大きい場合はどの様に調整すると良いでしょうか?

---
▼環境など
Windows 10 
python 3.7
機械学習 XGBoost 
パラメータの調整にoptunaを利用しています。