回答編集履歴
2
stream引数廃止に関するfactを追加。
answer
CHANGED
|
@@ -1,4 +1,4 @@
|
|
|
1
|
-
最新版のjanomeのtokenize関数は、stream引数が廃止されており、
|
|
1
|
+
最新版のjanomeのtokenize関数は、stream引数が廃止されており(※)、
|
|
2
2
|
必ずジェネレータを返す仕様になっています。
|
|
3
3
|
|
|
4
4
|
ジェネレータオブジェクトはそのままではpickle化できないので、下記のようにlistオブジェクトに変換する必要があります。
|
|
@@ -9,4 +9,6 @@
|
|
|
9
9
|
# 文ごとにリストを分けず、全ての単語を一次元のリストに格納する場合は、下記のようにする。
|
|
10
10
|
# for sentence in wagahai_list:
|
|
11
11
|
# wagahai_words.extend(list(t.tokenize(sentence, wakati=True)))
|
|
12
|
-
```
|
|
12
|
+
```
|
|
13
|
+
|
|
14
|
+
※[https://github.com/mocobeta/janome/pull/75](https://github.com/mocobeta/janome/pull/75)
|
1
ｇ
answer
CHANGED
|
@@ -1,9 +1,12 @@
|
|
|
1
1
|
最新版のjanomeのtokenize関数は、stream引数が廃止されており、
|
|
2
2
|
必ずジェネレータを返す仕様になっています。
|
|
3
3
|
|
|
4
|
-
ジェネレータオブジェクトはそのままではpickle化できないので、下記のようにする必要があります。
|
|
4
|
+
ジェネレータオブジェクトはそのままではpickle化できないので、下記のようにlistオブジェクトに変換する必要があります。
|
|
5
5
|
```
|
|
6
6
|
for sentence in wagahai_list:
|
|
7
7
|
wagahai_words.append(list(t.tokenize(sentence, wakati=True))) # 文章ごとに単語に分割し、リストに格納
|
|
8
|
+
|
|
8
|
-
|
|
9
|
+
# 文ごとにリストを分けず、全ての単語を一次元のリストに格納する場合は、下記のようにする。
|
|
10
|
+
# for sentence in wagahai_list:
|
|
11
|
+
# wagahai_words.extend(list(t.tokenize(sentence, wakati=True)))
|
|
9
12
|
```
|