質問編集履歴
4
試したことの追記
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -197,6 +197,10 @@
|
|
|
197
197
|
GitHubで公開されているコードをそのまま実行しても同じエラーになりました。
|
|
198
198
|
https://github.com/yamaru12345/nlp100/blob/master/chapter09_89.ipynb
|
|
199
199
|
|
|
200
|
+
```
|
|
201
|
+
TypeError: dropout(): argument 'input' (position 1) must be Tensor, not str
|
|
202
|
+
```
|
|
203
|
+
|
|
200
204
|
### 補足情報（FW/ツールのバージョンなど）
|
|
201
205
|
Python 3.7
|
|
202
206
|
simpletransformers-0.63.4-py3-none-any.whl
|
3
試したことの追記
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -193,6 +193,10 @@
|
|
|
193
193
|
labels: tensor([1., 0., 0., 0.])
|
|
194
194
|
```
|
|
195
195
|
|
|
196
|
+
#### 質問いただいた内容
|
|
197
|
+
GitHubで公開されているコードをそのまま実行しても同じエラーになりました。
|
|
198
|
+
https://github.com/yamaru12345/nlp100/blob/master/chapter09_89.ipynb
|
|
199
|
+
|
|
196
200
|
### 補足情報（FW/ツールのバージョンなど）
|
|
197
201
|
Python 3.7
|
|
198
202
|
simpletransformers-0.63.4-py3-none-any.whl
|
2
試したことの補足
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -171,6 +171,22 @@
|
|
|
171
171
|
|
|
172
172
|
[記事の出力](https://qiita.com/yamaru/items/63a342c844cff056a549#%E5%AD%A6%E7%BF%92%E3%81%AE%E6%BA%96%E5%82%99)にあるように、Tensorへ変換できていることは確認済みです。
|
|
173
173
|
```
|
|
174
|
+
# 正解ラベルのone-hot化
|
|
175
|
+
y_train = pd.get_dummies(train, columns=['CATEGORY'])[['CATEGORY_b', 'CATEGORY_e', 'CATEGORY_t', 'CATEGORY_m']].values
|
|
176
|
+
y_valid = pd.get_dummies(valid, columns=['CATEGORY'])[['CATEGORY_b', 'CATEGORY_e', 'CATEGORY_t', 'CATEGORY_m']].values
|
|
177
|
+
y_test = pd.get_dummies(test, columns=['CATEGORY'])[['CATEGORY_b', 'CATEGORY_e', 'CATEGORY_t', 'CATEGORY_m']].values
|
|
178
|
+
|
|
179
|
+
# Datasetの作成
|
|
180
|
+
max_len = 20
|
|
181
|
+
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
|
|
182
|
+
dataset_train = CreateDataset(train['TITLE'], y_train, tokenizer, max_len)
|
|
183
|
+
dataset_valid = CreateDataset(valid['TITLE'], y_valid, tokenizer, max_len)
|
|
184
|
+
dataset_test = CreateDataset(test['TITLE'], y_test, tokenizer, max_len)
|
|
185
|
+
|
|
186
|
+
for var in dataset_train[0]:
|
|
187
|
+
print(f'{var}: {dataset_train[0][var]}')
|
|
188
|
+
|
|
189
|
+
#出力
|
|
174
190
|
ids: tensor([ 101, 25416, 9463, 1011, 10651, 1015, 1011, 2647, 2482, 4341,
|
|
175
191
|
2039, 2005, 4369, 3204, 2004, 18730, 8980, 102, 0, 0])
|
|
176
192
|
mask: tensor([1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0])
|
1
データについて言及
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -3,7 +3,7 @@
|
|
|
3
3
|
### 前提・実現したいこと
|
|
4
4
|
「[【PyTorch】BERTを用いた文書分類入門](https://qiita.com/yamaru/items/63a342c844cff056a549#%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB)」という記事を参考に、事前学習済みBERTモデルをファインチューニングしようとしています。
|
|
5
5
|
|
|
6
|
-
Google Colaboratoryを使い、「ランタイムのタイプ」は「GPU」にしています。
|
|
6
|
+
データセットや前処理は全て記事の通りに行い、Google Colaboratoryを使い、「ランタイムのタイプ」は「GPU」にしています。
|
|
7
7
|
|
|
8
8
|
### 発生している問題・エラーメッセージ
|
|
9
9
|
記事では特に言及されていなかったのですが、モデルの学習時の入力の型に問題があるようで、実行することができません。
|