質問編集履歴
3
内容の編集
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,22 +1,13 @@
|
|
|
1
|
+
|
|
2
|
+
|
|
1
3
|
[1]
|
|
2
|
-
!pip install -q transformers==4.7.0 fugashi ipadic
|
|
3
|
-
|
|
4
|
-
上記のようなコードを記述すると下記のようなエラーが発生します。
|
|
5
|
-
|
|
6
|
-
ERROR: Failed building wheel for tokenizers
|
|
7
|
-
ERROR: Could not build wheels for tokenizers, which is required to install pyproject.toml-based projects
|
|
8
|
-
|
|
9
|
-
[2]
|
|
10
4
|
model = SentenceBertJapanese("sonoisa/sentence-bert-base-ja-mean-tokens")
|
|
11
5
|
|
|
12
6
|
上記のようなコードを記述すると下記のようなエラーが発生します
|
|
13
7
|
|
|
14
8
|
The tokenizer class you load from this checkpoint is not the same type as the class this function is called from. It may result in unexpected tokenization.
|
|
15
9
|
The tokenizer class you load from this checkpoint is 'BertTokenizer'.
|
|
16
|
-
The class this function is called from is 'BertJapaneseTokenizer'
|
|
10
|
+
The class this function is called from is 'BertJapaneseTokenizer'
|
|
17
|
-
|
|
18
|
-
|
|
19
|
-
二つのエラー
|
|
20
11
|
|
|
21
12
|
下記のサイトを参考にしています。
|
|
22
13
|
https://qiita.com/sonoisa/items/1df94d0a98cd4f209051
|
2
参考資料追加
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -18,4 +18,7 @@
|
|
|
18
18
|
|
|
19
19
|
二つのエラー
|
|
20
20
|
|
|
21
|
+
下記のサイトを参考にしています。
|
|
22
|
+
https://qiita.com/sonoisa/items/1df94d0a98cd4f209051
|
|
23
|
+
|
|
21
24
|
対処法またはsentence bert の日本語のダウンロードのコードを教えていただきたいです。
|
1
コメント追加
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,3 +1,4 @@
|
|
|
1
|
+
[1]
|
|
1
2
|
!pip install -q transformers==4.7.0 fugashi ipadic
|
|
2
3
|
|
|
3
4
|
上記のようなコードを記述すると下記のようなエラーが発生します。
|
|
@@ -5,5 +6,16 @@
|
|
|
5
6
|
ERROR: Failed building wheel for tokenizers
|
|
6
7
|
ERROR: Could not build wheels for tokenizers, which is required to install pyproject.toml-based projects
|
|
7
8
|
|
|
9
|
+
[2]
|
|
10
|
+
model = SentenceBertJapanese("sonoisa/sentence-bert-base-ja-mean-tokens")
|
|
11
|
+
|
|
12
|
+
上記のようなコードを記述すると下記のようなエラーが発生します
|
|
13
|
+
|
|
14
|
+
The tokenizer class you load from this checkpoint is not the same type as the class this function is called from. It may result in unexpected tokenization.
|
|
15
|
+
The tokenizer class you load from this checkpoint is 'BertTokenizer'.
|
|
16
|
+
The class this function is called from is 'BertJapaneseTokenizer'.
|
|
17
|
+
|
|
18
|
+
|
|
19
|
+
二つのエラー
|
|
8
20
|
|
|
9
21
|
対処法またはsentence bert の日本語のダウンロードのコードを教えていただきたいです。
|