janomeのTokenizerでエラー

Question

前提・実現したいこと

pythonで自動要約プログラムを作ろうと思っています。
https://software-data-mining.com/python%E3%81%AB%E3%82%88%E3%82%8B%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86%E6%8A%80%E6%B3%95%E3%82%92%E3%81%B5%E3%82%93%E3%81%A0%E3%82%93%E3%81%AB%E4%BD%BF%E7%94%A8%E3%81%97%E3%81%9F/
こちらのサイトのプログラムを参考に要約プログラムの方を書きましたが、"Tokenize"の部分でエラーが吐かれます。
どうすれば改善されるでしょうか。
お力添えいただきたいです。

該当のコード

from janome.analyzer import Analyzer
from janome.charfilter import UnicodeNormalizeCharFilter, RegexReplaceCharFilter
from janome.tokenizer import Tokenizer as JanomeTokenizer  # sumyのTokenizerと名前が被るため
from janome.tokenfilter import POSKeepFilter, ExtractAttributeFilter
from janome.tokenizer import Tokenizer
from janome.analyzer import Analyzer
from janome.charfilter import *
from janome.tokenfilter import *
import re
from sumy.parsers.plaintext import PlaintextParser
from sumy.nlp.tokenizers import Tokenizer
from sumy.summarizers.lex_rank import LexRankSummarizer

def fn_start_document_summarize():
    file=(r"C:\Users\名前\PycharmProjects\aiueo\ extract-sample.txt")
    with open(file,encoding='utf-8') as f:
        contents = f.readlines()

    contents = ''.join(contents)

    text = re.findall("[^。]+。?", contents.replace('\n', ''))

    print(text)
    tokenizer = Tokenizer('japanese')
    char_filters=[UnicodeNormalizeCharFilter(), RegexReplaceCharFilter(r'[()「」、。]', ' ')]
    token_filters=[POSKeepFilter(['名詞', '形容詞', '副詞', '動詞']), ExtractAttributeFilter('base_form')]
    # 形態素解析(単語単位に分割する)
    analyzer = Analyzer(
        char_filters=char_filters,
        tokenizer=tokenizer,
        token_filters=token_filters
    )

    corpus = [' '.join(analyzer.analyze(sentence)) + u'。' for sentence in text]
    print(corpus)
    print(len(corpus))

    # 文書要約処理実行
    # from sumy.parsers.plaintext import PlaintextParser
    # from sumy.nlp.tokenizers import Tokenizer
    # from sumy.summarizers.lex_rank import LexRankSummarizer

    parser = PlaintextParser.from_string(''.join(corpus), Tokenizer('japanese'))

    # LexRankで要約を原文書の3割程度抽出
    summarizer = LexRankSummarizer()
    summarizer.stop_words = [' ']

    # 文書の重要なポイントは2割から3割といわれている?ので、それを参考にsentences_countを設定する。
    summary = summarizer(document=parser.document, sentences_count=int(len(corpus) / 10 * 3))

    print(u'文書要約結果')
    for sentence in summary:
        print(text[corpus.index(sentence.__str__())])


if __name__ == '__main__':
    fn_start_document_summarize()

エラー

Traceback (most recent call last):
  File "C:/Users/名前/PycharmProjects/youyaku/bunshoyouyaku.py", line 58, in <module>
    fn_start_document_summarize()
  File "C:/Users/名前/PycharmProjects/youyaku/bunshoyouyaku.py", line 28, in fn_start_document_summarize
    analyzer = Analyzer(
  File "C:\Users\名前\AppData\Local\Programs\Python\Python38\lib\site-packages\janome\analyzer.py", line 91, in __init__
    elif tokenizer.wakati:
AttributeError: 'Tokenizer' object has no attribute 'wakati'

補足（FW/ツールのバージョンなど）

pycharmを利用しています。
Python 3.8.5
OS：windows10

Answer 1

ソースの動作確認はしてないのですが、気になったのが2点あります。

インポート問題

※インポート領域から抜粋

from janome.tokenizer import Tokenizer as JanomeTokenizer  # sumyのTokenizerと名前が被るため
from janome.tokenizer import Tokenizer
from sumy.nlp.tokenizers import Tokenizer

最初のjanome.tokenizer.Tokenizerを別名インポートをしているのは良いのですが、
もう一度from janome.tokenizer import Tokenizerを別名付けずにインポートしています。
（とはいえ、sumyのインポートで上書きされるので、ややこしくなるだけではあると思いますが）

どっちのTokenizer問題

Analyzerに渡すタイミングと、PlaintextParserに渡すタイミングで、
それぞれTokenizerオブジェクトを渡しています。

これがそれぞれ「どっちのパッケージのTokenizerを使う予定だったか」を一度確認したほうが良いと思います。

※エラー内容からすると、今回のソースでAnalyzerに渡すべきものはJanomeTokenizerと別名定義したほうなのに、コードを書く過程で正しく区別できてない気がします

    print(text)
-    tokenizer = Tokenizer('japanese')
+    tokenizer = JanomeTokenizer('japanese')
    char_filters=[UnicodeNormalizeCharFilter(), RegexReplaceCharFilter(r'[()「」、。]', ' ')]
    token_filters=[POSKeepFilter(['名詞', '形容詞', '副詞', '動詞']), ExtractAttributeFilter('base_form')]
    # 形態素解析(単語単位に分割する)
    analyzer = Analyzer(
        char_filters=char_filters,
        tokenizer=tokenizer,
        token_filters=token_filters
    )

Comments

[asibarai]

エラーを吐く理由に納得すると共にプログラム側の解決もできました。”Tokenizer”モジュールを別名で定義したにも関わらず、元の名前で呼び出そうとしても呼べるわけないですね。
改善策だけでなく、そのほかの部分も教えていただけたのですっきりしました。ありがとうございました。