常連

## Pytorchを導入したい
AWS EC2インスタンスにDockerでPython環境を作成し、その中にPyTorchをインストールしたいです。

PyTorchをDockerイメージにインストールを実施した方法になりますが、
導入途中に処理が落ちて導入することが出来ません。

下記のの様にDockerfileを作成しました。
が、Disconnected. Attempting to reconnect...となってしまい導入途中で処理が固まってしまい
導入が出来ませんでした。

エラーメッセージ
 Got some output, clearing connection timeout

## 実施方法
```dockerfile
FROM python:3

# アプリケーションディレクトリを作成する
WORKDIR /usr/src/python

COPY requirements.txt ./

RUN pip3 install -r requirements.txt 
# アプリケーションコードをコンテナにコピー
COPY . .

EXPOSE 8000

CMD [ "python", "main.py" ]

```

```requirements.txt
numpy
pandas
transformers
matplotlib
seaborn
datasets
fugashi
ipadic
torchvision
```

## 質問
導入方法がわからず困っています。
環境立ち上げの方法についてやり方及び参考になるURLを教えて頂けますでしょうか。

AWS EC2インスタンス　Pytorchを導入したい

## 大規模言語モデルのファインチューニングについて

大規模言語モデルに製品マニュアルの内容をファインチューニングして、基礎知識を与え、
その後、質問応答できるようなシステムを作りたい。

## 背景、状況

私の会社では自社製品を作っており、その製品Xに対して、日本語マニュアルがあります。
さらに、客先からの質問に回答した内容がデータとして蓄積されています。

ここで、rinnna, Bert GPTなどのモデルに1.日本語マニュアルをファインチューニングして、製品Xに対する基礎知識を学習させ、
さらに2.QAタスクができるようにQA集をファインチューニングさせることは可能でしょうか？
1.の場合、どんなモデルを用いたらよいでしょうか？
　例えば、rinnaであれば、汎用モデルと対話モデルがありますが、汎用モデルにチューニングしたらよいですか？


※ChatGPTのGUIではなく、固有の自社のGUIでシステムを作りたいため、
GPTのプラグインではなくファインチューニングをしたいと思っています。



大規模言語モデル　ファインチューニングの方法

# 画像分類の際に画像以外の説明変数を扱えるのか？

EfficientNetやViTを使って画像分類できるのは承知しており，実際に使っていますが，このモデルに画像とは直接には関係ない説明変数を追加できるものでしょうか．

例えば，その時の天気や撮影条件などを説明変数として追加して分類してみたいです．

# 今何となく考えている方法

最後の出力層に説明変数を無理やり追加する
- 正規化はどうするのか
- 変数の数が違う過ぎるのではないか
- そもそも，そのやり方どうなの

# もっともよい回答

論文に記載されている方法

よろしくお願いいたします．


EfficientNetやVitの画像分類の際に画像以外の説明変数を扱えるのか？

### 実現したいこと

pythonのmultiprocessingを動かず止まってしまいます.

```main.py
from torch.multiprocessing import Manager, Pool, Process
from model import model
from data import data
if __name__=='__main__':
    def matmul(inputs):
        customer_x, item_x = inputs
        customers = torch.arange(customer_x.size(0))
        rating_all = []
        for batch_users in tqdm(minibatch(customers, batch_size=TEST_BATCH_SIZE)):
            rating = customer_x[batch_users] @ item_x.T
            rating_all.append(rating)
        rating_all = torch.cat(rating_all)
        return rating_all
    data = data()
    model = model()
    customer_x, item_x = model.getUsersRating()
    process_num = 8

    p = Pool(process_num)
    customer_per_process = customer_x.size(0)//process_num
    xs = [(customer_x[customer_per_process*i:customer_per_process*(i+1)], item_x) if i!=process_num-1 else \
        (customer_x[customer_per_process*i:], item_x) for i in range(process_num)]

    rating_all = p.map(matmul, xs)

```

### 前提

行列計算をmultiprocessingを用いて並列計算しようとしています. しかし, 上記のmain.pyを実行してもPool.map()のとこで計算が止まってしまいます. jupyter notebookではPool.map()が動くことを確認したのですが, pythonスクリプトから実行すると計算が止まってしまいます. __name__=='__main__'からの実行もしているので, なぜ止まってしまうのかわからず困っている状況です.



### 試したこと
通常のmultiprocessingやPoolも試しましたが同様に止まってしまいました. また, matmulの位置は__name__=='__main__'の前後のどちらでも止まってしまいました.
torch.multiprocessing.get_start_method()の結果はjupyter, スクリプト共にforkでした

### 補足情報（FW/ツールのバージョンなど）

torch 2.0.0
python 3.10


python multiprocessingが動かない

以下のプログラムは途中までのものですが、google colabだと動いたのですが、会社のGPUを積んだマシンだとエラーがでました。エラーが出た原因が知りたいです。
動かしたプログラム
#####
```ここに言語を入力
import gym
from creversi.gym_reversi.envs import ReversiVecEnv
from creversi import *

import os
import datetime
import math
import random
import numpy as np
from collections import namedtuple
from itertools import count
from tqdm import tqdm_notebook as tqdm
import matplotlib.pyplot as plt

import torch
import torch.nn as nn
import torch.optim as optim
import torch.nn.functional as F

BATCH_SIZE = 256

vecenv = ReversiVecEnv(BATCH_SIZE)

# if gpu is to be used
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

######################################################################
# Replay Memory

Transition = namedtuple('Transition',
                        ('state', 'action', 'next_state', 'next_actions', 'reward'))


class ReplayMemory(object):

    def __init__(self, capacity):
        self.capacity = capacity
        self.memory = []
        self.position = 0

    def push(self, *args):
        """Saves a transition."""
        if len(self.memory) < self.capacity:
            self.memory.append(None)
        self.memory[self.position] = Transition(*args)
        self.position = (self.position + 1) % self.capacity

    def sample(self, batch_size):
        return random.sample(self.memory, batch_size)

    def __len__(self):
        return len(self.memory)

######################################################################
# DQN

k = 192
fcl_units = 256
class DQN(nn.Module):

    def __init__(self):
        super(DQN, self).__init__()
        self.conv1 = nn.Conv2d(2, k, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(k)
        self.conv2 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(k)
        self.conv3 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn3 = nn.BatchNorm2d(k)
        self.conv4 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn4 = nn.BatchNorm2d(k)
        self.conv5 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn5 = nn.BatchNorm2d(k)
        self.conv6 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn6 = nn.BatchNorm2d(k)
        self.conv7 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn7 = nn.BatchNorm2d(k)
        self.conv8 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn8 = nn.BatchNorm2d(k)
        self.conv9 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn9 = nn.BatchNorm2d(k)
        self.conv10 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn10 = nn.BatchNorm2d(k)
        self.fcl1 = nn.Linear(k * 64, fcl_units)
        self.fcl2 = nn.Linear(fcl_units, 65)

    def forward(self, x):
        x = F.relu(self.bn1(self.conv1(x)))
        x = F.relu(self.bn2(self.conv2(x)))
        x = F.relu(self.bn3(self.conv3(x)))
        x = F.relu(self.bn4(self.conv4(x)))
        x = F.relu(self.bn5(self.conv5(x)))
        x = F.relu(self.bn6(self.conv6(x)))
        x = F.relu(self.bn7(self.conv7(x)))
        x = F.relu(self.bn8(self.conv8(x)))
        x = F.relu(self.bn9(self.conv9(x)))
        x = F.relu(self.bn10(self.conv10(x)))
        x = F.relu(self.fcl1(x.view(-1, k * 64)))
        x = self.fcl2(x)
        return x.tanh()

def get_states(envs):
    features_vec = np.zeros((BATCH_SIZE, 2, 8, 8), dtype=np.float32)
    for i, env in enumerate(envs):
        env.board.piece_planes(features_vec[i])
    return torch.from_numpy(features_vec).to(device)
```
この最後のreturn torch.from_numpy(features_vec).to(device)のところで、、google colabでは
エラーが出ないのですが、会社のGPUを積んだLinuxだと
RuntimeError: CUDA error: out of memory
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
というエラーがでます。ググったりして調べたのですが、原因が分かりませんでした。
会社のGPUの環境は、下記の通りです。
-bash-4.2$ lspci | grep -i nvidia
3b:00.0 VGA compatible controller: NVIDIA Corporation TU102 [GeForce RTX 2080 Ti] (rev a1)
3b:00.1 Audio device: NVIDIA Corporation TU102 High Definition Audio Controller (rev a1)
3b:00.2 USB controller: NVIDIA Corporation TU102 USB 3.1 Host Controller (rev a1)
3b:00.3 Serial bus controller [0c80]: NVIDIA Corporation TU102 USB Type-C UCSI Controller (rev a1)
af:00.0 VGA compatible controller: NVIDIA Corporation GP102 [GeForce GTX 1080 Ti] (rev a1)
af:00.1 Audio device: NVIDIA Corporation GP102 HDMI Audio Controller (rev a1)

ご教示いただけますと幸いです。
何卒、よろしくお願い申し上げます。

強化学習でRuntimeError: CUDA error: out of memoryが出る

### 実現したいこと
pytorchでDataloaderを格納した辞書型配列を作成したい（for文を使って）

### 前提

pytorchでLSTMモデルの訓練をしているとき、気になったことがあったので質問させていただきます。

４つのcsvデータを読み込みそれぞれのデータセット用のデータローダを格納した辞書型配列を使い、モデルの訓練を行うとエラーが起きます。


```python
#Dataloaderを格納した辞書型作成

train_loader_dict={}

for i,video in enumerate(np.unique(df_label['video'].values)):
  df = pd.read_csv("./outlier_detection_xy/data/"+video+"/position_data_labeled.csv")
  #label=="normal"だけを抽出
  df=df[df['label']=='normal']
  
  #以下のyがLSTMモデルへの入力
  #x=df['frame'].values

  y=df['RIGHT_ANKLE_x'].values-df['LEFT_ANKLE_x'].values

  train_dataset=Dataset(y)

  train_loader=DataLoader(train_dataset,batch_size=4, shuffle=False, drop_last=True)
  train_loader_dict[video]=train_loader

  print(train_loader_dict)
```


```python
#Datasetクラス

class Dataset(torch.utils.data.Dataset):
    """
    params
      y : (numpy）異常値を省いた時系列データ
      data_length :   (int) 各データの時系列長

    returns
      train_data : トレーニングデータ（t=1,2,...,y.size-1の値)
      train_label : トレーニングデータのラベル（t=sizeの値）
    """
    def __init__(self, y,data_length=6):
        self.y=y
        self.data_length=data_length

    def __getitem__(self, index):

        train_data=y[index:index+self.data_length].reshape(1,-1).T
        train_label=y[index+self.data_length]
        return train_data, train_label

    def __len__(self):
        return len(self.y)-self.data_length
```
### 発生している問題・エラーメッセージ

145の数値から辞書型train_loader_dictから取り出したtrain_loaderがfor文で最後に格納したtrain_loaderに置き換わっているのかなと思います。

```
/usr/local/lib/python3.10/dist-packages/torch/nn/modules/loss.py:536: UserWarning: Using a target size (torch.Size([4])) that is different to the input size (torch.Size([4, 1])). This will likely lead to incorrect results due to broadcasting. Please ensure they have the same size.
  return F.mse_loss(input, target, reduction=self.reduction)
---------------------------------------------------------------------------
IndexError                                Traceback (most recent call last)
<ipython-input-142-1949d1956cbb> in <cell line: 1>()
      7       print(video_name)
      8 
----> 9       for train_data, train_label in train_loader:
     10 
     11           n=n+1

4 frames
<ipython-input-116-dba67668cc3b> in __getitem__(self, index)
     16 
     17         train_data=y[index:index+self.data_length].reshape(1,-1).T
---> 18         train_label=y[index+self.data_length]
     19         return train_data, train_label
     20 

IndexError: index 145 is out of bounds for axis 0 with size 145
```

### 該当のソースコード

```python
#モデル訓練時エラーが起きるコード（for文で辞書作成）
for epoch in range(epochs_num):
    # training
    running_loss = 0.0
    training_accuracy = 0.0
    n=0
    for video_name,train_loader in train_loader_dict.items():
      print(video_name)

      for train_data, train_label in train_loader:

          n=n+1
          print(n)
          #print(train_data)
          optimizer.zero_grad()
          output = model(train_data)

          loss = criterion(output, train_label)
          loss.backward()
          optimizer.step()

          running_loss += loss.item()
          training_accuracy += np.sum(np.abs((output.data - train_label.data).numpy()) < 0.1) #outputとlabelの誤差が0.1以内なら正しいとみなす。

    training_accuracy /= training_size
    print('%d loss: %.3f, training_accuracy: %.5f' % (epoch + 1, running_loss, training_accuracy))
```

### 実践したこと
dataloader一つを使った場合うまくいった。

```python
#データローダ作成
df = pd.read_csv("./outlier_detection_xy/data/"+"IMG_0893_7080_7260"+"/position_data_labeled.csv")

df=df[df['label']=='normal']

y=df['RIGHT_ANKLE_x'].values-df['LEFT_ANKLE_x'].values

train_loader=DataLoader(Dataset(y),batch_size=4, shuffle=False, drop_last=True)


#モデル訓練
from pandas.core.groupby.groupby import OutputFrameOrSeries
for epoch in range(epochs_num):
    # training
    running_loss = 0.0
    training_accuracy = 0.0

    for train_data, train_label in train_loader:
          
    　　optimizer.zero_grad()
          output = model(train_data)

          loss = criterion(output, train_label.reshape(-1,1))
          loss.backward()
          optimizer.step()

          running_loss += loss.item()


    print('%d loss: %.3f, training_accuracy: %.5f' % (epoch + 1, running_loss, training_accuracy))

```


### 補足情報（FW/ツールのバージョンなど）

python3.9　google colaboratry使用


pytorchのdataloaderクラスを辞書型で整理したい

### 前提
windows11、pytorch、GeForce GTX 1050Tiでcudaを使いたいができません。もう１週間ここで止まっています。どこが悪いのかご存じの方がおられれば教えてください。

### 発生している問題・エラーメッセージ
vs codeにて
import torch
print(torch.cuda.is_available())
を実行するとFalseと表示される

GPU ： NVIDIA GeForce GTX 1050Ti

cmdでNVIDIA-SMIコマンドを実行

NVIDIA-SMI 528.02 Driver Version:528.02 CUDA Version:12.0　Processes の部分にはすべてN/Aがたくさん表示されている　(WDDMモードの為？)

cmdでnvcc -Vコマンドを実行

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Sun_Mar_21_19:24:09_Pacific_Daylight_Time_2021
Cuda compilation tools, release 11.3, V11.3.58
Build cuda_11.3.r11.3/compiler.29745058_0

visual studio 2022
python 3.8.15
cuda toolkit 11.3
cuDNN v8.7.0(C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3)にコピー
visual Studio 2022
このような状態で　
https://pytorch.org/get-started/previous-versions/
(PyTorch公式サイト)にてcuda11.3に対応したバージョンをcondaでインストール

### 試したこと

それ以外にもcuda　toolkitを11.7、11.6にしてみたがpytorchの公式サイトでpytorch torchvision torchaudio pytroch-cuda=11.6 or 11.7をconda環境でインストールしようとしてみたがこちらは
Solving environment: failed with initial frozen solve. Retrying with flexible solve.
と表示されてしまうためCUDAtoolkitは11.3としています。



windows,pytorchでcudaが使えない

### 実現したいこと
ResNet50の最初の畳み込み層からの出力を特徴マップとして可視化したいのですが上手くいきません。チャンネル数が大きいため可視化できないということはわかるのですが具体的にどうすれば解決できるかがわからないです。
環境は変えることができないため、現在の環境でのやり方を教えていただきたいです。

### 発生している問題・エラーメッセージ

```
Traceback (most recent call last):
  File "feat_sample.py", line 88, in <module>
    main()
  File "feat_sample.py", line 62, in main
    plt.imshow(result)
  File "/home/xxx/.local/lib/python3.6/site-packages/matplotlib/pyplot.py", line 2730, in imshow
    **kwargs)
  File "/home/xxx/.local/lib/python3.6/site-packages/matplotlib/__init__.py", line 1447, in inner
    return func(ax, *map(sanitize_sequence, args), **kwargs)
  File "/home/xxx/.local/lib/python3.6/site-packages/matplotlib/axes/_axes.py", line 5523, in imshow
    im.set_data(X)
  File "/home/xxx/.local/lib/python3.6/site-packages/matplotlib/image.py", line 712, in set_data
    .format(self._A.shape))
TypeError: Invalid shape (112, 112, 64) for image data
```

### 該当のソースコード

```ここに言語名を入力
import os
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
import torchvision
from torchvision import datasets,transforms,models,utils
import numpy as np
import matplotlib.pyplot as plt
import os
import pandas as pd
from PIL import Image
import sys
import random
import shutil
import argparse
from datetime import datetime
from tqdm import tqdm
from sklearn import metrics
import warnings
import datetime

import matplotlib.pyplot as plt

warnings.filterwarnings('ignore')

def main():

    testdir = '/media/8e2435dd-0595-4145-bfff-6c1a049dfde41/data/dataset/'

    test_dataset = torchvision.datasets.ImageFolder(
            testdir,
            transforms.Compose([
                transforms.ToTensor(),
            ]))

    testloader = torch.utils.data.DataLoader(test_dataset, batch_size=1, shuffle=False, num_workers=8)

    model = models.resnet50(pretrained=False)
    num_ftrs = model.fc.in_features
    model.fc = nn.Linear(num_ftrs, 2)
    model.to('cuda')
    model.eval()
    print(model)
    feat=model.conv1
    print(feat)
    cnt = 0
    for n, (sample, cls) in enumerate(testloader):
        if n == n:
            sample = sample.to(device)
            cls = cls.to(device)
            
            output = feat(sample)

            print(output.shape)
        feat_map = output.to('cpu').detach().numpy().copy()[0]
        feat_map = feat_map.transpose(1, 2, 0)
        result = (feat_map * 255).astype(np.uint8)

        plt.figure(figsize=(5, 5))
        plt.imshow(result)
        plt.tick_params(bottom=False,
                left=False,
                right=False,
                top=False)
        plt.tick_params(labelbottom=False,
            labelleft=False,
            labelright=False,
            labeltop=False)
        plt.savefig(f'img{cnt}.pdf')
        plt.close()
        cnt += 1
        

if __name__=='__main__':

    seed=1
    random.seed(seed)
    torch.manual_seed(seed)
    np.random.seed(seed)
    torch.cuda.manual_seed(seed)
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False

    device = torch.device('cuda')

    main()
```

### 補足情報（FW/ツールのバージョンなど）
torch                       1.8.1+cu111
torch-tb-profiler           0.4.1
torchaudio                  0.8.1
torchinfo                   1.5.4
torchmetrics                0.8.2
torchsummary                1.5.1
torchvision                 0.9.1+cu111
