回答編集履歴
1
インデントを訂正
test
CHANGED
|
@@ -10,13 +10,13 @@
|
|
|
10
10
|
|
|
11
11
|
t = Tokenizer() # Tokenizerの初期化は一回だけでOKです。
|
|
12
12
|
|
|
13
|
-
|
|
13
|
+
for text in ids:
|
|
14
14
|
|
|
15
|
-
|
|
15
|
+
for token in t.tokenize(text):
|
|
16
16
|
|
|
17
|
-
|
|
17
|
+
data.append(token.surface)
|
|
18
18
|
|
|
19
|
-
|
|
19
|
+
print(data)
|
|
20
20
|
|
|
21
21
|
```
|
|
22
22
|
|