spacy.tokenizer.Tokenizer' object has no attribute 'tokens_from_list

Question

すみません、pythonのエラーで

spacy.tokenizer.Tokenizer' object has no attribute 'tokens_from_list

このエラーに苦しんでいます。
どうしていいのかサッパリでスペルミスなどはございません。

教材としては、Pythonではじめる機械学習のp.341です。
以下が、自分が打ったコードになります。

import re

regexp = re.compile('(?u)\\b\\w\\w+\\b')

en_nlp = spacy.load("en_core_web_sm")
old_tokenizer = en_nlp.tokenizer

en_nlp.tokenizer = lambda string: old_tokenizer.tokens_from_list(regexp.findall(string))

def custom_tokenizer(document):
    doc_spacy = en_nlp(document)
    return [token.lemma_ for token in doc_spacy]

lemma_vect = CountVectorizer(tokenizer=custom_tokenizer, min_df=5)



X_train_lemma = lemma_vect.fit_transform(text_train)
print("X_train_lemma.shape: {}".format(X_train_lemma.shape))

vect = CountVectorizer(min_df=5).fit(text_train)
X_train = vect.transform(text_train)
print("X_train.shape: {}".format(X_train.shape))

すみませんが、よろしくお願い致します。

Answer 1

Doc クラスで置き換えられた様です。

Deprecated

The following methods are deprecated. They can still be used, but should be replaced.

Old	New
Tokenizer.tokens_from_list	Doc
Span.sent_start	Span.is_sent_start

Comments

[masamichan]

すみません、Docクラスに変更されると、どのようにソースコードを書けばいいのでしょうか？

[melian]

Doc クラスの API ドキュメント https://spacy.io/api/doc#init に example がありますので、それを参考にしてみて下さい。

[masamichan]

すみません、書き方が全く分かりません。

[masamichan]

en_nlp = spacy.load('en', disable=['parser', 'ner'])
old_tokenizer = en_nlp.tokenizer

en_nlp.tokenizer = lambda string: old_tokenizer.tokens_from_list(
regexp.findall(string))

この部分をいじるのはわかるのですが、ドキュメントを見てもサッパリです。
すみませんが、教えてくださると本当に助かります。