常連

### 実現したいこと

pytorch+deellabv3plusを使用し、ローカルに保存した重みでfine-tuningしたいと思っています。

### 前提

通常は重みをネット上から毎回DLするのですが、使用環境の問題で重みをローカルに保存しておき、それをfine-tuningしたいと思っています。
そこでresnet101を
'https://download.pytorch.org/models/resnet101-5d3b4d8f.pth'　
からDLし、ローカルに保存しています。

### 発生している問題・エラーメッセージ
下記コードのどこを変更すればよいのかがわかりません。
```python
ENCODER = 'resnet101'
ENCODER_WEIGHTS = 'imagenet'
CLASSES = ['dog']
ACTIVATION = 'sigmoid'

model = smp.DeepLabV3Plus(
    encoder_name=ENCODER, 
    encoder_weights=ENCODER_WEIGHTS, 
    classes=len(CLASSES), 
    activation=ACTIVATION,
)
```

### 試したこと

```python
ENCODER_WEIGHTS_LOCAL_PATH = './model/resnet101-5d3b4d8f.pth'

model = smp.DeepLabV3Plus(
    encoder_name=ENCODER, 
    encoder_weights=ENCODER_WEIGHTS_LOCAL_PATH, 
    classes=len(CLASSES), 
    activation=ACTIVATION,
)
```
```error
"Wrong pretrained weights `resnet101-5d3b4d8f.pth` for encoder `resnet101`. Available options are: ['imagenet']"
```

どのようにすればよいか、ご教示いただけますと幸いです。
よろしくお願いいたします。

pytorch+deellabv3plusをローカル保存した重みで動かしたい

### Self Attentionのメカニズムについて理解したい
pythonのコードからSelf Attentionのメカニズムについて理解したい。
### 前提
pythonのコードからSelf Attentionのメカニズムについて理解しようとしています。
ただ、Self Attentionの部分が1行で済まされているのでなかなかイメージが掴めません。
今のところ、該当のコードは単なる多重パーセプトロンで処理がされていると思いますが、
Self Attention = 多重パーセプトロン
なのでしょうか？
入力は動画のフレーム画像から抽出した3次元のテンソルとなります。
有識者の方々、ご教授いただけると幸いです。
### 該当のソースコード

```python
class VideoClassifier(nn.Module):
    def __init__(self,args,r=3,da=64,attention=False):
        super().__init__()
        self.self_anttention = nn.Sequential(nn.Linear(args.feature_size,da),nn.Tanh(),nn.Linear(da,r))
        self.fc1 = nn.Linear(args.feature_size*r,32)
        self.fc2 = nn.Linear(32,1)
        self.dropout = nn.Dropout(0.3)
        self.sig = nn.Sigmoid()

        self.return_attention = attention

    def forward(self,x):
        bs,t,f = x.shape        
        attentionweight = self.dropout(F.softmax(self.self_anttention(x),dim=1))
        m = torch.bmm(x.permute(0,2,1),attentionweight)
        x = m.view(bs,-1)
        x = self.fc1(x)
        x = self.fc2(x)
        x = self.sig(x)
        x = x.view(bs) #[batch]

        if self.return_attention:
            return x, attentionweight
        else:
            return x
```

### 試したこと

ここに問題に対して試したことを記載してください。

### 補足情報（FW/ツールのバージョンなど）
このコードのURLです。
https://github.com/yaegasikk/attention_anomaly_detector/


Self Attentionのメカニズムについて

### 実現したいこと
RuntimeErrorを解決したい。

### 前提
https://qiita.com/Kentea/items/e4263a90f94738213483
画像分類を行うために上記のサイトを参考にしてコードを組んでいるのですが、私の該当のソースコードの1番最後の行で発生するRuntimeErrorの解決策が、手を尽くしたのですが分かりません。どなたか解決法をご教授くださると嬉しいです。

### 発生している問題・エラーメッセージ

```
---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
Cell In[8], line 31
     29 class_names = image_datasets['train'].classes 
     30 device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
---> 31 inputs, classes = next(iter(dataloaders['train']))

File ~\Programming\JupyterNotebook\Pytorch_study\PySt\Lib\site-packages\torch\utils\data\dataloader.py:633, in _BaseDataLoaderIter.__next__(self)
    630 if self._sampler_iter is None:
    631     # TODO(https://github.com/pytorch/pytorch/issues/76750)
    632     self._reset()  # type: ignore[call-arg]
--> 633 data = self._next_data()
    634 self._num_yielded += 1
    635 if self._dataset_kind == _DatasetKind.Iterable and \
    636         self._IterableDataset_len_called is not None and \
    637         self._num_yielded > self._IterableDataset_len_called:

File ~\Programming\JupyterNotebook\Pytorch_study\PySt\Lib\site-packages\torch\utils\data\dataloader.py:1345, in _MultiProcessingDataLoaderIter._next_data(self)
   1343 else:
   1344     del self._task_info[idx]
-> 1345     return self._process_data(data)

File ~\Programming\JupyterNotebook\Pytorch_study\PySt\Lib\site-packages\torch\utils\data\dataloader.py:1371, in _MultiProcessingDataLoaderIter._process_data(self, data)
   1369 self._try_put_index()
   1370 if isinstance(data, ExceptionWrapper):
-> 1371     data.reraise()
   1372 return data

File ~\Programming\JupyterNotebook\Pytorch_study\PySt\Lib\site-packages\torch\_utils.py:644, in ExceptionWrapper.reraise(self)
    640 except TypeError:
    641     # If the exception takes multiple arguments, don't try to
    642     # instantiate since we don't know how to
    643     raise RuntimeError(msg) from None
--> 644 raise exception

RuntimeError: Caught RuntimeError in DataLoader worker process 0.
Original Traceback (most recent call last):
  File "C:\Users\pkmn9\Programming\JupyterNotebook\Pytorch_study\PySt\Lib\site-packages\torch\utils\data\_utils\worker.py", line 308, in _worker_loop
    data = fetcher.fetch(index)
           ^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\pkmn9\Programming\JupyterNotebook\Pytorch_study\PySt\Lib\site-packages\torch\utils\data\_utils\fetch.py", line 54, in fetch
    return self.collate_fn(data)
           ^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\pkmn9\Programming\JupyterNotebook\Pytorch_study\PySt\Lib\site-packages\torch\utils\data\_utils\collate.py", line 265, in default_collate
    return collate(batch, collate_fn_map=default_collate_fn_map)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\pkmn9\Programming\JupyterNotebook\Pytorch_study\PySt\Lib\site-packages\torch\utils\data\_utils\collate.py", line 142, in collate
    return [collate(samples, collate_fn_map=collate_fn_map) for samples in transposed]  # Backwards compatibility.
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\pkmn9\Programming\JupyterNotebook\Pytorch_study\PySt\Lib\site-packages\torch\utils\data\_utils\collate.py", line 142, in <listcomp>
    return [collate(samples, collate_fn_map=collate_fn_map) for samples in transposed]  # Backwards compatibility.
            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\pkmn9\Programming\JupyterNotebook\Pytorch_study\PySt\Lib\site-packages\torch\utils\data\_utils\collate.py", line 119, in collate
    return collate_fn_map[elem_type](batch, collate_fn_map=collate_fn_map)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\pkmn9\Programming\JupyterNotebook\Pytorch_study\PySt\Lib\site-packages\torch\utils\data\_utils\collate.py", line 161, in collate_tensor_fn
    out = elem.new(storage).resize_(len(batch), *list(elem.size()))
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
RuntimeError: Trying to resize storage that is not resizable
```

### 該当のソースコード

```Python
import torch
from torchvision import datasets, transforms 
from torch.utils.data import DataLoader 
import numpy as np
import os

data_transforms = {
    'train': transforms.Compose([
        transforms.Resize(224),
        transforms.ToTensor(),
    ]),
    'validation': transforms.Compose([
        transforms.Resize(224),
        transforms.ToTensor(),
    ]),
}

data_dir = 'vuis_data'
image_datasets = {x: datasets.ImageFolder(os.path.join(data_dir, x),
                                          data_transforms[x])
                for x in ['train', 'validation']} 

batch_size = 8
dataloaders = {x: torch.utils.data.DataLoader(image_datasets[x], batch_size=batch_size,
                                             shuffle=True, num_workers=2)
              for x in ['train', 'validation']}
                                                
dataset_sizes = {x: len(image_datasets[x]) for x in ['train', 'validation']}
class_names = image_datasets['train'].classes 
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
inputs, classes = next(iter(dataloaders['train']))
```


【データセットの構造】
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2023-10-01/9eecea32-b0b7-4ad6-a7dd-94ae35715988.png)


### 試したこと
エラーの文章を見るに画像のサイズの問題のように思えますが、data_transformsで224に設定しているはずなので何故かが分からないです。

https://discuss.pytorch.org/t/runtime-error-on-using-next-iter-dataloader/126979
上記のサイトを参考に、

```
def main(dataloaders):
    for i, data in enumerate(dataloaders):
        images, labels = next(iter(data))

if __name__ == '__main__':
    main(dataloaders)
```

としてみましたが、

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
Cell In[11], line 8
      5         images, labels = next(iter(data))
      7 if __name__ == '__main__':
----> 8     main(dataloaders)

Cell In[11], line 5, in main(dataloaders)
      3 def main(dataloaders):
      4     for i, data in enumerate(dataloaders):
----> 5         images, labels = next(iter(data))

ValueError: not enough values to unpack (expected 2, got 1)

というエラーが出て解決しませんでした。

### 補足情報（FW/ツールのバージョンなど）
Windows==11
Python==3.11.5
torch==2.0.1
torchvision==0.15.2
tornado==6.3.3
numpy==1.25.2

Pytorchで発生したとあるRuntimeErrorを解決したい

## 大規模言語モデルのファインチューニングについて

大規模言語モデルに製品マニュアルの内容をファインチューニングして、基礎知識を与え、
その後、質問応答できるようなシステムを作りたい。

## 背景、状況

私の会社では自社製品を作っており、その製品Xに対して、日本語マニュアルがあります。
さらに、客先からの質問に回答した内容がデータとして蓄積されています。

ここで、rinnna, Bert GPTなどのモデルに1.日本語マニュアルをファインチューニングして、製品Xに対する基礎知識を学習させ、
さらに2.QAタスクができるようにQA集をファインチューニングさせることは可能でしょうか？
1.の場合、どんなモデルを用いたらよいでしょうか？
　例えば、rinnaであれば、汎用モデルと対話モデルがありますが、汎用モデルにチューニングしたらよいですか？


※ChatGPTのGUIではなく、固有の自社のGUIでシステムを作りたいため、
GPTのプラグインではなくファインチューニングをしたいと思っています。



大規模言語モデル　ファインチューニングの方法

# 画像分類の際に画像以外の説明変数を扱えるのか？

EfficientNetやViTを使って画像分類できるのは承知しており，実際に使っていますが，このモデルに画像とは直接には関係ない説明変数を追加できるものでしょうか．

例えば，その時の天気や撮影条件などを説明変数として追加して分類してみたいです．

# 今何となく考えている方法

最後の出力層に説明変数を無理やり追加する
- 正規化はどうするのか
- 変数の数が違う過ぎるのではないか
- そもそも，そのやり方どうなの

# もっともよい回答

論文に記載されている方法

よろしくお願いいたします．


EfficientNetやVitの画像分類の際に画像以外の説明変数を扱えるのか？

以下のプログラムは途中までのものですが、google colabだと動いたのですが、会社のGPUを積んだマシンだとエラーがでました。エラーが出た原因が知りたいです。
動かしたプログラム
#####
```ここに言語を入力
import gym
from creversi.gym_reversi.envs import ReversiVecEnv
from creversi import *

import os
import datetime
import math
import random
import numpy as np
from collections import namedtuple
from itertools import count
from tqdm import tqdm_notebook as tqdm
import matplotlib.pyplot as plt

import torch
import torch.nn as nn
import torch.optim as optim
import torch.nn.functional as F

BATCH_SIZE = 256

vecenv = ReversiVecEnv(BATCH_SIZE)

# if gpu is to be used
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

######################################################################
# Replay Memory

Transition = namedtuple('Transition',
                        ('state', 'action', 'next_state', 'next_actions', 'reward'))


class ReplayMemory(object):

    def __init__(self, capacity):
        self.capacity = capacity
        self.memory = []
        self.position = 0

    def push(self, *args):
        """Saves a transition."""
        if len(self.memory) < self.capacity:
            self.memory.append(None)
        self.memory[self.position] = Transition(*args)
        self.position = (self.position + 1) % self.capacity

    def sample(self, batch_size):
        return random.sample(self.memory, batch_size)

    def __len__(self):
        return len(self.memory)

######################################################################
# DQN

k = 192
fcl_units = 256
class DQN(nn.Module):

    def __init__(self):
        super(DQN, self).__init__()
        self.conv1 = nn.Conv2d(2, k, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(k)
        self.conv2 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(k)
        self.conv3 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn3 = nn.BatchNorm2d(k)
        self.conv4 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn4 = nn.BatchNorm2d(k)
        self.conv5 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn5 = nn.BatchNorm2d(k)
        self.conv6 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn6 = nn.BatchNorm2d(k)
        self.conv7 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn7 = nn.BatchNorm2d(k)
        self.conv8 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn8 = nn.BatchNorm2d(k)
        self.conv9 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn9 = nn.BatchNorm2d(k)
        self.conv10 = nn.Conv2d(k, k, kernel_size=3, padding=1)
        self.bn10 = nn.BatchNorm2d(k)
        self.fcl1 = nn.Linear(k * 64, fcl_units)
        self.fcl2 = nn.Linear(fcl_units, 65)

    def forward(self, x):
        x = F.relu(self.bn1(self.conv1(x)))
        x = F.relu(self.bn2(self.conv2(x)))
        x = F.relu(self.bn3(self.conv3(x)))
        x = F.relu(self.bn4(self.conv4(x)))
        x = F.relu(self.bn5(self.conv5(x)))
        x = F.relu(self.bn6(self.conv6(x)))
        x = F.relu(self.bn7(self.conv7(x)))
        x = F.relu(self.bn8(self.conv8(x)))
        x = F.relu(self.bn9(self.conv9(x)))
        x = F.relu(self.bn10(self.conv10(x)))
        x = F.relu(self.fcl1(x.view(-1, k * 64)))
        x = self.fcl2(x)
        return x.tanh()

def get_states(envs):
    features_vec = np.zeros((BATCH_SIZE, 2, 8, 8), dtype=np.float32)
    for i, env in enumerate(envs):
        env.board.piece_planes(features_vec[i])
    return torch.from_numpy(features_vec).to(device)
```
この最後のreturn torch.from_numpy(features_vec).to(device)のところで、、google colabでは
エラーが出ないのですが、会社のGPUを積んだLinuxだと
RuntimeError: CUDA error: out of memory
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
というエラーがでます。ググったりして調べたのですが、原因が分かりませんでした。
会社のGPUの環境は、下記の通りです。
-bash-4.2$ lspci | grep -i nvidia
3b:00.0 VGA compatible controller: NVIDIA Corporation TU102 [GeForce RTX 2080 Ti] (rev a1)
3b:00.1 Audio device: NVIDIA Corporation TU102 High Definition Audio Controller (rev a1)
3b:00.2 USB controller: NVIDIA Corporation TU102 USB 3.1 Host Controller (rev a1)
3b:00.3 Serial bus controller [0c80]: NVIDIA Corporation TU102 USB Type-C UCSI Controller (rev a1)
af:00.0 VGA compatible controller: NVIDIA Corporation GP102 [GeForce GTX 1080 Ti] (rev a1)
af:00.1 Audio device: NVIDIA Corporation GP102 HDMI Audio Controller (rev a1)

ご教示いただけますと幸いです。
何卒、よろしくお願い申し上げます。

強化学習でRuntimeError: CUDA error: out of memoryが出る

### 実現したいこと

PytorchにおいてBERTのファインチューニング済みモデルを保存したい。

### 前提

pth形式でモデルを保存しようとしたら謎のエラーを吐かれています(´;ω;｀)
以前pth形式でモデルを保存できたのでなぜかわからなくなってしまったので質問しております。

### 発生している問題・エラーメッセージ

```
RuntimeError                              Traceback (most recent call last)
Cell In[17], line 1
----> 1 torch.save(model.state_dict(),"/model_test1.pt")

File c:\Users\gp20a180\anaconda3\envs\bert\lib\site-packages\torch\serialization.py:440, in save(obj, f, pickle_module, pickle_protocol, _use_new_zipfile_serialization)
    437 _check_save_filelike(f)
    439 if _use_new_zipfile_serialization:
--> 440     with _open_zipfile_writer(f) as opened_zipfile:
    441         _save(obj, opened_zipfile, pickle_module, pickle_protocol)
    442         return

File c:\Users\gp20a180\anaconda3\envs\bert\lib\site-packages\torch\serialization.py:315, in _open_zipfile_writer(name_or_buffer)
    313 else:
    314     container = _open_zipfile_writer_buffer
--> 315 return container(name_or_buffer)

File c:\Users\gp20a180\anaconda3\envs\bert\lib\site-packages\torch\serialization.py:288, in _open_zipfile_writer_file.__init__(self, name)
    287 def __init__(self, name) -> None:
--> 288     super().__init__(torch._C.PyTorchFileWriter(str(name)))

RuntimeError: File /model_test1.pt cannot be opened.
```

### 該当のソースコード

```python
torch.save(model.state_dict(),"/model_test1.pth")　->2023/09/04に編集済み
```

### 試したこと

自力で調べたが解決策なし

### 補足情報（FW/ツールのバージョンなど）

Pytorch = 2.0.1
cuda = 11.8
python = 3.9.16


Pytorchにおけるモデルの保存方法

### 実現したいこと

- pytorchをGPUで動かしたい。

### 前提
初心者です。よろしくお願いします。

導入してあるCUDAは以下の通りです。
```
nvidia-smi
>>> 略〜 CUDA Version: 11.3
```
以下に示すようにcondaで環境を作っています。
```
(base)~$ conda create -n name Python=3.8 jupyterlab nodejs
(base)~$ conda activate name
(name)~$ conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3 -c pytorch
```
### 発生している問題・エラーメッセージ
torch.cuda.is_available()でFalseが出ます。
GPUを使いたいため、Trueが出ることを期待してます。
```
(name)~$ python
>>> import torch
>>> torch.cuda.is_available()
False
>>> torch.cuda.current_device()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/anaconda3/envs/name/lib/python3.8/site-packages/torch/cuda/__init__.py", line 482, in current_device
    _lazy_init()
  File "/home/anaconda3/envs/name/lib/python3.8/site-packages/torch/cuda/__init__.py", line 211, in _lazy_init
    raise AssertionError("Torch not compiled with CUDA enabled")
AssertionError: Torch not compiled with CUDA enabled
```

### 試したこと
cudaのバージョンとの互換性の問題かと思い、最新Stableのpytorch==2.0.1ではなく、公式サイトのprevious versionsページから上記を参考に、cuda11.3用のpytorch==1.12.1などを上記の通り導入しましたが、うまくいきませんでした。また、conda仮想環境を最初から作り直したりしましたがダメでした。pipで入れることも考えていますが、condaとpipを混ぜない方がいいと思っているので、できればcondaで入れたいなと思っています。pipでも問題ないならそれでもいいと思っています。この点ご意見いただけると嬉しいです。
既存の質問や他のサイトを見ても、バージョンを一致させればできました、で終わっていることが多く、何が問題かもわかっていない状態です。

### 補足情報（FW/ツールのバージョンなど）

conda 23.5.2
