回答編集履歴
2
stream引数廃止に関するfactを追加。
test
CHANGED
|
@@ -1,4 +1,4 @@
|
|
|
1
|
-
最新版のjanomeのtokenize関数は、stream引数が廃止されており、
|
|
1
|
+
最新版のjanomeのtokenize関数は、stream引数が廃止されており(※)、
|
|
2
2
|
|
|
3
3
|
必ずジェネレータを返す仕様になっています。
|
|
4
4
|
|
|
@@ -21,3 +21,7 @@
|
|
|
21
21
|
# wagahai_words.extend(list(t.tokenize(sentence, wakati=True)))
|
|
22
22
|
|
|
23
23
|
```
|
|
24
|
+
|
|
25
|
+
|
|
26
|
+
|
|
27
|
+
※[https://github.com/mocobeta/janome/pull/75](https://github.com/mocobeta/janome/pull/75)
|
1
ｇ
test
CHANGED
|
@@ -4,7 +4,7 @@
|
|
|
4
4
|
|
|
5
5
|
|
|
6
6
|
|
|
7
|
-
ジェネレータオブジェクトはそのままではpickle化できないので、下記のようにする必要があります。
|
|
7
|
+
ジェネレータオブジェクトはそのままではpickle化できないので、下記のようにlistオブジェクトに変換する必要があります。
|
|
8
8
|
|
|
9
9
|
```
|
|
10
10
|
|
|
@@ -12,6 +12,12 @@
|
|
|
12
12
|
|
|
13
13
|
wagahai_words.append(list(t.tokenize(sentence, wakati=True))) # 文章ごとに単語に分割し、リストに格納
|
|
14
14
|
|
|
15
|
+
|
|
16
|
+
|
|
15
|
-
|
|
17
|
+
# 文ごとにリストを分けず、全ての単語を一次元のリストに格納する場合は、下記のようにする。
|
|
18
|
+
|
|
19
|
+
# for sentence in wagahai_list:
|
|
20
|
+
|
|
21
|
+
# wagahai_words.extend(list(t.tokenize(sentence, wakati=True)))
|
|
16
22
|
|
|
17
23
|
```
|