質問編集履歴
3
質問文を修正しました。
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,6 +1,10 @@
|
|
|
1
1
|
Python３.６系のTokenization関数を使用しているのですが、
|
|
2
2
|
|
|
3
3
|
こちらのFullTokenizerの第一引数にあるvocab_fileは事前に何か作成しておく必要のあるファイルを指しているのでしょうか？
|
|
4
|
+
|
|
5
|
+
FullTokenizer(vocab_file=vocab_path)のvocab_pathは先に記述している変数vocab_pathと照合している
|
|
6
|
+
|
|
7
|
+
のはわかるのですが、vocab_fileと＝関係にすることで何を意図としているのかが分かりません。
|
|
4
8
|
|
|
5
9
|
```
|
|
6
10
|
|
2
ファイル名を削除
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -3,10 +3,6 @@
|
|
|
3
3
|
こちらのFullTokenizerの第一引数にあるvocab_fileは事前に何か作成しておく必要のあるファイルを指しているのでしょうか？
|
|
4
4
|
|
|
5
5
|
```
|
|
6
|
-
|
|
7
|
-
tokenization.py
|
|
8
|
-
|
|
9
|
-
|
|
10
6
|
|
|
11
7
|
import tokenization
|
|
12
8
|
|
1
質問文を変更しました。ブラウザの調子が悪く編集前ので投稿しました。
test
CHANGED
|
File without changes
|
test
CHANGED
|
@@ -1,36 +1,6 @@
|
|
|
1
|
-
Python３.６系のTokenization関数を使用しているのですが、
|
|
1
|
+
Python３.６系のTokenization関数を使用しているのですが、
|
|
2
2
|
|
|
3
3
|
こちらのFullTokenizerの第一引数にあるvocab_fileは事前に何か作成しておく必要のあるファイルを指しているのでしょうか？
|
|
4
|
-
|
|
5
|
-
```
|
|
6
|
-
|
|
7
|
-
【エラー文】
|
|
8
|
-
|
|
9
|
-
|
|
10
|
-
|
|
11
|
-
Traceback (most recent call last):
|
|
12
|
-
|
|
13
|
-
File "tokenization.py", line 1, in <module>
|
|
14
|
-
|
|
15
|
-
import tokenization
|
|
16
|
-
|
|
17
|
-
File "/home/ubuntu/ernie/tokenization.py", line 18, in <module>
|
|
18
|
-
|
|
19
|
-
my_tokenizer = tokenization.FullTokenizer(vocab_file=vocab_path)
|
|
20
|
-
|
|
21
|
-
AttributeError: module 'tokenization' has no attribute 'FullTokenizer'
|
|
22
|
-
|
|
23
|
-
```
|
|
24
|
-
|
|
25
|
-
|
|
26
|
-
|
|
27
|
-
【対応したこと】
|
|
28
|
-
|
|
29
|
-
tensorflowのバージョンを2.1.0→2.0に変更
|
|
30
|
-
|
|
31
|
-
|
|
32
|
-
|
|
33
|
-
|
|
34
4
|
|
|
35
5
|
```
|
|
36
6
|
|