MeCabで形態素解析．カタカナを連続して取得したいが，分割されてしまいます、、、

Question

前提

MeCabでのカタカナを連続して取得したい．

実現したいこと

• MeCabを用いて，カタカナを途中で分割することなく，連続して取得したい．

発生している問題

例えば，ライトアップでは「ライト」「アップ」と解析されてしまう．
これを「ライトアップ」として取得したいのですが，辞書を改良するしかないのでしょうか．

試したこと

unidicやipadicで試しましたが，同じ結果になりました．

import re
import time
import codecs
import MeCab

if __name__ == '__main__':
    file = codecs.open("/content/dataset_kurashiki_spring_test.txt", 'r', 'utf-8')   #ファイルを開いてファイルオブジェクトを取得(codecs.open())
    documents = [document.strip() for document in file]    #strip()で空白文字を削除
    file.close()

    # number of documents
    N = len(documents)
    print(N)

    segList = []
    for document in documents: 
        mecab = MeCab.Tagger()
        #print(document)
        mecab.parse('')
        
        data = mecab.parse(document)
        node = mecab.parseToNode(document)
        #print(node)

        while node:
            if node.feature.split(",")[0] == u"名詞":
                segList.append(node.surface)

            node = node.next
    print(segList)

Answer 1

mecab-ipadic-NEologdなら分割されませんでした

% mecab -D
filename:	/opt/homebrew/lib/mecab/dic/mecab-ipadic-neologd/sys.dic

% echo 'ライトアップ' | mecab
ライトアップ	名詞,一般,*,*,*,*,ライトアップ,ライトアップ,ライトアップ
EOS

Comments

[maro]

ご指摘いただいた通り，mecab-ipadic-NEologdの辞書を用いたのですが，上手くいきませんでした．
コードに何か問題があるのでしょうか．

Answer 2

辞書をどうにかするしかありません。

カタカナの連結を常に1単語にするなら辞書のunk.defで連結コストを0にして辞書をビルドするという手もあります。

KATAKANA,1285,1285,9461,名詞,一般,*,*,*,*,*
↓
KATAKANA,1285,1285,0,名詞,一般,*,*,*,*,*↲

参考
https://taku910.github.io/mecab/learn.html
http://blog.mwsoft.jp/article/40647298.html

Comments

[maro]

解決しました！！ありがとうございます！！