【自然言語処理】CountVectorizerで単語ngramを作成する際に句読点単体も含めたい

Question

###実現したいこと
分かち書きが既にされていて、単語の後に半角スペースが付いている、次の文書集合があるとします。

text1 = "吾輩 は 、 猫 で ある 。 eos "
text2 = "名前 は 、 まだ ない 。 eos "
texts_list = [text1,text2]

このとき目標は、この文書集合から、考えうるすべての2gramを抽出することです。すなわち、今回の場合で言えば、次のような2gramたちを抽出したいです。

['ある eos', 'で ある', 'ない eos', 'は まだ', 'は 猫', 'まだ ない', '名前 は', '吾輩 は', '猫 で', 'は 、', '、 猫', 'ある 。', '。 eos', 'ない 。', '。 eos']

###困っていること
句読点を含まずに2gramを抽出するのであれば、次のようなコードで得られます。

>>> from sklearn.feature_extraction.text import CountVectorizer
>>> vectorizer = CountVectorizer(analyzer="word",token_pattern="(?u)\b\w+\b",lowercase=False,ngram_range=(2,2))
>>> vectorizer.fit_transform(texts_list)
<2x9 sparse matrix of type '<class 'numpy.int64'>'
	with 9 stored elements in Compressed Sparse Row format>
>>> vectorizer.get_feature_names()
['ある eos', 'で ある', 'ない eos', 'は まだ', 'は 猫', 'まだ ない', '名前 は', '吾輩 は', '猫 で']

しかし、上のtoken_patternでは句読点単体を単語として含ませることができず、その原因として私の現段階での理解では、\bは\wと\Wの間の境界を表すが、「。」や「、」らの句読点は\wの中には含まれないため、これらの句読点が単語として認識されなかったのではないかと考えています。

句読点単体を単語としてみなしてngramを抽出するにはどうすれば良いのでしょうか？なお、sparse matrixを使いたいので、できれば、CountVectorizerを用いてngramを作成したいです。
###実行環境
OS：macOS Catalina
Python：3.7.6
scikit-learn：0.23.1

Answer 1

\bに頼るのは無理そうなので、単純に「直後に空白文字がある、空白文字以外のもの」という条件にしてみました。要件を満たせそうでしょうか。

vectorizer = CountVectorizer(analyzer="word",token_pattern="(?u)\S+(?=\s)",lowercase=False,ngram_range=(2,2))

手元の環境での実行結果：

['、 まだ', '、 猫', '。 eos', 'ある 。', 'で ある', 'ない 。', 'は 、', 'まだ ない', '名前 は', '吾輩 は', '猫 で']

Comments

[xdgy]

まさしく求めていたものです！これだと空白以外のすべての記号にマッチしてくれるので、「、」「。」以外の他の句読点にも対応できそうです。この度は回答ありがとうございました。

[segavvy]

いえいえ、お役に立てたようで良かったです！