質問編集履歴
1
モデルのダウンロード元について記載
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,3 +1,7 @@
|
|
|
1
1
|
自然言語処理の初学者です。興味本位でBERTに手を出しているのですが、BERTは512トークンで切られるということを最近知りました。みなさんはこの対策はどうなさっていますか?
|
|
2
2
|
|
|
3
|
+
使っているmodelはyoheikikutaさんが提供してくださっている学習済みの SentencePiece モデルと BERT モデルです。
|
|
4
|
+
|
|
5
|
+
|
|
6
|
+
|
|
3
7
|
どなたか教えていただければ幸いです。
|