質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.83%

  • Python 3.x

    4446questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • 自然言語処理

    69questions

    自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。

JanomeのAnalyzer中の引数(token_filters = token_filters)が分からない

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 112

James1201

score 7

サイト通りのコードを入力したのですが、エラーが出てしまいます。
問題箇所のエラーを調べたのですが、どこを探しても

Analyzer(token_filters = token_filters)


に関する記述がありませんでした。

下記にスクリプトとエラー内容を掲載しますので、どなたか詳しい方教えていただけませんか。
よろしくお願い致します。

スクリプト↓

from janome.tokenizer import Tokenizer
from janome.analyzer import Analyzer
from janome.tokenfilter import *
text = u'すもももももももものうち'
token_filters = [POSKeepFilter('名詞'), TokenCountFilter(att='base_form')]
a = Analyzer(token_filters = token_filters)
for k, v in a.analyze(text):
    print('%s: %d' % (k, v))


エラー内容↓

SyntaxError                               Traceback (most recent call last)
~/anaconda3/lib/python3.6/site-packages/sysdic/__init__.py in entries(compact)
     22         try:
---> 23             from sysdic import entries_compact0, entries_compact1, entries_compact2, entries_compact3, entries_compact4, entries_compact5, entries_compact6, entries_compact7, entries_compact8, entries_compact9
     24         except:

SyntaxError: invalid token (entries_compact0.py, line 2)

During handling of the above exception, another exception occurred:

LoadingDictionaryError                    Traceback (most recent call last)
<ipython-input-15-d7a250153fe3> in <module>()
      4 text = u'すもももももももものうち'
      5 token_filters = [POSKeepFilter('名詞'), TokenCountFilter(att='base_form')]
----> 6 a = Analyzer(token_filters)
      7 for k, v in a.analyze(text):
      8     print('%s: %d' % (k, v))

~/anaconda3/lib/python3.6/site-packages/janome/analyzer.py in __init__(self, char_filters, tokenizer, token_filters)
     83         """
     84         if not tokenizer:
---> 85             self.tokenizer = Tokenizer()
     86         elif tokenizer.wakati:
     87             raise Exception('Invalid argument: A Tokenizer with wakati=True option is not accepted.')

~/anaconda3/lib/python3.6/site-packages/janome/tokenizer.py in __init__(self, udic, udic_enc, udic_type, max_unknown_length, wakati, mmap)
    162             self.sys_dic = MMapSystemDictionary(mmap_entries(wakati), connections, chardef.DATA, unknowns.DATA)
    163         else:
--> 164             self.sys_dic = SystemDictionary(entries(wakati), connections, chardef.DATA, unknowns.DATA)
    165         if udic:
    166             if udic.endswith('.csv'):

~/anaconda3/lib/python3.6/site-packages/sysdic/__init__.py in entries(compact)
     23             from sysdic import entries_compact0, entries_compact1, entries_compact2, entries_compact3, entries_compact4, entries_compact5, entries_compact6, entries_compact7, entries_compact8, entries_compact9
     24         except:
---> 25             raise LoadingDictionaryError()
     26         __entries = entries_compact0.DATA
     27         __entries.update(entries_compact1.DATA)

LoadingDictionaryError: 
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

0

こちらの環境では質問文のコードは問題なく実行できました。

Python 3.6.3 |Anaconda custom (64-bit)| (default, Oct 15 2017, 03:27:45) [MSC v.1900 64 bit (AMD64)]

エラーメッセージを見る限りでは、辞書ファイルを読もうとしてライブラリ内部でエラーが発生しているように見受けられます。


>James1201さんへ

辞書はデフォルトのではなく新規語に対応できるようにアップデートした

そういう重要な事項はどういう手順で辞書のアップデートを行ったのかも含めて質問文に追記してくださいな。。。

具体的なエラーと言われても、こちらの環境では問題を再現できないので、現状質問文で提示されている情報以上の事はわかりません。

SyntaxError: invalid token (entries_compact0.py, line 2)

site-packages\sysdic\entries_compact0.pyの2行目で無効なトークンのエラー。


(very experimental) NEologd 辞書を内包した janome をビルドする方法

Tokenizer 初期化
Tokenizer 初期化時,mmap=True オプションが必須です。このオプションをつけないと, LoadingDictionaryError が発生します。

よって、問題は

a = Analyzer(token_filters)

self.tokenizer = Tokenizer()が引数無し呼び出されているのが問題なため、
Tokenizerを生成しAnalyzerの引数として渡せばよいのでは。

# -*- coding: utf-8 -*-
from janome.tokenizer import Tokenizer
from janome.analyzer import Analyzer
from janome.tokenfilter import *
text = u'すもももももももものうち'
tokenizer = Tokenizer(mmap=True)
token_filters = [POSKeepFilter('名詞'), TokenCountFilter(att='base_form')]
a = Analyzer(tokenizer=tokenizer, token_filters = token_filters)
for k, v in a.analyze(text):
    print('%s: %d' % (k, v))

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/05/20 12:44

    そういえば、辞書はデフォルトのではなく新規語に対応できるようにアップデートした覚えがあります。
    できれば辞書はこのままで行いたいのですが、具体的にどういうエラーなのかもし分かるようでしたら教えて頂けないでしようか。

    キャンセル

  • 2018/05/20 13:18

    説明不足の件申し訳ありません!
    こちらのサイトを参考にして辞書をneologdに対応させました。
    https://medium.com/@mocobeta/neologd-%E8%BE%9E%E6%9B%B8%E5%86%85%E5%8C%85%E3%81%AE-janome-%E3%83%91%E3%83%83%E3%82%B1%E3%83%BC%E3%82%B8%E3%81%AE%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%81%A7%E3%81%8D%E3%82%8B%E3%82%88%E3%81%86%E3%81%AB%E3%81%97%E3%81%BE%E3%81%97%E3%81%9F-%E4%B8%8D%E5%AE%9A%E6%9C%9F%E6%9B%B4%E6%96%B0-71611ab66415

    キャンセル

  • 2018/05/20 14:45

    無事解決致しました!
    ご親切にありがとうございました!

    キャンセル

  • 2018/05/20 14:46

    >James1201さんへ
    解決して良かったです。。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.83%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • Python 3.x

    4446questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

  • 自然言語処理

    69questions

    自然言語処理は、日常的に使用される自然言語をコンピューターに処理させる技術やソフトウェアの総称です。