自然言語処理の前処理に関して

当方自然言語処理初心者なため、的外れなこと・足りない情報等ありましたらおっしゃってください。

日本語でBERTを使ってみようと考えており、その際にNICTと呼ばれるBERT日本語モデルを使用しようと考えています。

そこで上記サイトの「使用方法」の欄に書いてある 入力テキストは、事前に半角を全角に正規化し、MeCab-Juman辞書 [11, 12] で形態素に分割しておくという欄があり、そこの実装の仕方に関して質問があります。

サイト内に、「具体的な使用例は実験手順をご参照ください」と書いてあったので、こちらの実験手順を参考にして実装してみたところ、以下のようになりました。

py
1doc = "鶏肉は包丁を入れて均等に開き、両面にﾌｫｰｸで穴を開け塩ｺｼｮｳする。"
2
3dicdir = subprocess.run(["mecab-config", "--dicdir"], check=True, stdout=subprocess.PIPE, text=True).stdout.rstrip()
4jumandic_dir = ([d for d in [f"{dicdir}/juman-utf8", f"{dicdir}/jumandic"] if os.path.exists(d)] + [None])[0]
5assert " " not in dicdir and jumandic_dir, "Please install mecab-jumandic"
6
7tagger_jumandic = MeCab.Tagger(f"-Owakati -d{jumandic_dir}")
8assert tagger_jumandic.dictionary_info().charset == "utf8"
9
10tagger_jumandic.parse(mojimoji.han_to_zen(doc).replace("\u3000", " ")).rstrip("\n")
11
12print(doc)
13#-> 鶏肉は包丁を入れて均等に開き、両面にフォークで穴を開け塩ｺｼｮｳする。

ただ、これを実行してもﾌｫｰｸ→フォーク, ｺｼｮｳ→コショウのようにならず、また形態素に分割されていないように思えるのですが、どこが間違っているのか見当がつかず、ご存知の方がいらっしゃいましたら教えていただきたいです。

行動規範の内容に同意します

回答1件

ベストアンサー

「事前に半角を全角に正規化」してから「MeCab-Juman辞書 [11, 12] で形態素に分割」してください。

辞書に半角文字の形態素は登録されていないので、半角文字の部分はそのまま出力されるだけです。

投稿2020/08/26 09:51

編集2020/08/26 09:58

quickquip

総合スコア11235

退会済みユーザー

2020/08/26 10:04 編集

ご回答ありがとうございます。ご指摘の通りまず正規化をしたところちゃんと全角になりました。ありがとうございます！ ``` doc = "鶏肉は包丁を入れて均等に開き、両面にﾌｫｰｸで穴を開け塩ｺｼｮｳする。" doc = mojimoji.han_to_zen(doc).replace("\u3000", " ") dicdir = subprocess.run(["mecab-config", "--dicdir"], check=True, stdout=subprocess.PIPE, text=True).stdout.rstrip() jumandic_dir = ([d for d in [f"{dicdir}/juman-utf8", f"{dicdir}/jumandic"] if os.path.exists(d)] + [None])[0] assert " " not in dicdir and jumandic_dir, "Please install mecab-jumandic" tagger_jumandic = MeCab.Tagger(f"-Owakati -d{jumandic_dir}") assert tagger_jumandic.dictionary_info().charset == "utf8" tagger_jumandic.parse(doc).rstrip("\n") ``` 1点質問があるのですが、docをterminalに出力すると「鶏肉は包丁を入れて均等に開き、両面にフォークで穴を開け塩コショウする。」のように特に分割されない形で出力されるのですが、これはterminalだからなのでしょうか？「正しく形態素に分割できているかどうか」というのをどう捉えれば良いのかわからず????‍♀️