質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Mecab

Mecabは、オープンソースの形態素解析エンジンです。 言語、辞書、コーパスに依存しない汎用的な設計を基本方針としています。 Mecabの由来は、開発者の好物である和布蕪(めかぶ)から名づけられました。

Q&A

解決済

1回答

2222閲覧

【MeCab】形態素解析した結果、単語が分割されてしまったときの処理

退会済みユーザー

退会済みユーザー

総合スコア0

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Mecab

Mecabは、オープンソースの形態素解析エンジンです。 言語、辞書、コーパスに依存しない汎用的な設計を基本方針としています。 Mecabの由来は、開発者の好物である和布蕪(めかぶ)から名づけられました。

0グッド

0クリップ

投稿2019/05/27 14:53

以下のコードで形態素解析することができました。

python

1 def to_nodes(self, strings: str) -> List[MeCab.Node]: 2 node = self.mecab.parseToNode(strings) 3 nodes = [] 4 while node: 5 if node.feature.split(',')[0] != 'BOS/EOS': 6 nodes.append(node) 7 node = node.next 8     LOGGER.debug([n.surface for n in nodes]) 9 return nodes

しかし、ときどき辞書の関係で単語が分割されてしまいます。

それは別に構わないのですが、分割されてしまった単語は結果に含めないようにしたいです。

そこで、以下のコードを書きました。

pyhon

1 def wordlist_to_nodes(self, wordlist: List[str]) -> List[MeCab.Node]: 2 nodes_by_element = [self.to_nodes(word) for word in wordlist] 3 # 分割されなかったものに限定する 4 nodes = [nodes[0] for nodes in nodes_by_element if len(nodes) == 1] 5 LOGGER.debug([n.surface for n in nodes]) 6 return nodes

すると、2つのコードにあるloggingの表示が(分割されなかったものに限定したものとは別に)全くの別物が出力されてしまいます
1つ目のloggingは正しい結果なんですが、2つ目のloggingは期待通りになりません。

何が問題なのでしょうか?解決策、もしくはご自身の環境でどのように出力されるのか教えてください。

なお、2つは1つのクラスのメソッドであり、その変数にmecab本体があります。

環境は以下の通りです。

  • macOS
  • mecab-python3 ver0.7
  • homebrewによりインストールしたMeCabを使用

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

can110

2019/05/27 21:31

> ご自身の環境でどのように出力されるのか教えてください。 簡単な入力例と、現状の出力、理想の出力例を記載ください。 また、できればコードの一部分ではなく単体で動作する完全なコードを提示ください。
guest

回答1

0

ベストアンサー

mecabのページ

https://taku910.github.io/mecab/bindings.html

MeCab::Node の振舞い のところ

MeCab::Node の実体(メモリ上にある形態素情報)は, MeCab::Tagger インスタンスが管理しています. MeCab::Node は, Node の実体を指している参照にすぎせん. そのために, parseToNode が 呼ばれる度に, 実体そのものが, 上書きされていきます.

2回parseToNodeしたら、1回目にparseToNodeした結果を保持していたNodeは、もう最初の解析結果を覚えていません。

投稿2019/05/27 23:46

quickquip

総合スコア11029

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

退会済みユーザー

退会済みユーザー

2019/05/28 01:53

Taggerを複数用意するよう該当ページに書かれていたため、to_nodes()内でTaggerを用意するようにしました。すると、「Segmentation fault: 11」というエラーが発生してしまいます。
quickquip

2019/05/28 05:02

あ、本当ですね。「複数の MeCab::Tagger インスタンスを生成してください」と書いてますね。 個人的な経験としては、Pythonバインディングでそれをしても解決することはなくて、マズいことしか起きないように思います。 to_nodesの中で、nodeから必要な情報を全部獲得してしまう必要があると思います。
退会済みユーザー

退会済みユーザー

2019/05/28 06:47

そうなんですね。無理せず、to_nodeだけで処理しようと思います
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問