MeCabを使って表層文字列を出力したいのですが、UnicodeEncodeErrorになってしまいます。

Question

MeCabを利用して、「私はペンを持っています」から表層文字列を出力したいのですが、下記のようにエラーになってしまいます。

「Traceback (most recent call last):
File "test.py", line 8, in <module>
print(result.surface)
UnicodeEncodeError: 'utf-8' codec can't encode character '\udc92' in position 2: surrogates not allowed」

コードは以下の通りです。
実行はVSCODEのターミナルから「python test.py」と打って実行しております。

import MeCab

t = MeCab.Tagger()
result = t.parseToNode('私はペンを持っています。')

while result:
    f = result.feature
    p = f.split(',')[0]
    print(result.surface)
    result = result.next

解決策が分からず、ご教示いただけると幸いです。🙇

---

OS：Mac
環境：venv
エディタ：VScode

Comments

[quickquip]

Trackbackを隠さずに載せてください。どの行でエラーになっているか伝わっていません。
https://teratail.com/help/question-tips#questionTips34

あと、どうやって実行しているかも書いた方がいいかもしれません。VScodeの機能で実行しているのでしょうか。
（再現する感じがないので……）

Answer 1

あくまで推測ですが，手持ちの環境で

echo 私はペンを持っています。 | mecab
を実行した結果，

私	名詞,代名詞,一般,*,*,*,私,ワタシ,ワタシ
は	助詞,係助詞,*,*,*,*,は,ハ,ワ
ペン	名詞,一般,*,*,*,*,ペン,ペン,ペン
を	助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
持っ	動詞,自立,*,*,五段・タ行,連用タ接続,持つ,モッ,モッ
て	助詞,接続助詞,*,*,*,*,て,テ,テ
い	動詞,非自立,*,*,一段,連用形,いる,イ,イ
ます	助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス
。	記号,句点,*,*,*,*,。,。,。
EOS

についてSJISに変換してファイルに保存し
HEX(16進数ダンプ)を確認すると，次のようになりdc92という箇所があるので，
おそらくインストールされているMeCabは
SJISを吐き出す状態になっているのではないかと思います。
pythonで利用するためにはutf-8で出力するようにMecabが設定されている必要があると思います。

00000000: 8e84 0996 bc8e 8c2c 91e3 96bc 8e8c 2c88  .......,......,.
00000010: ea94 ca2c 2a2c 2a2c 2a2c 8e84 2c83 8f83  ...,*,*,*,..,...
00000020: 5e83 562c 838f 835e 8356 0a82 cd09 8f95  ^.V,...^.V......
00000030: 8e8c 2c8c 578f 958e 8c2c 2a2c 2a2c 2a2c  ..,.W....,*,*,*,
00000040: 2a2c 82cd 2c83 6e2c 838f 0a83 7983 9309  *,..,.n,....y...
00000050: 96bc 8e8c 2c88 ea94 ca2c 2a2c 2a2c 2a2c  ....,....,*,*,*,
00000060: 2a2c 8379 8393 2c83 7983 932c 8379 8393  *,.y..,.y..,.y..
00000070: 0a82 f009 8f95 8e8c 2c8a 698f 958e 8c2c  ........,.i....,
00000080: 88ea 94ca 2c2a 2c2a 2c2a 2c82 f02c 8392  ....,*,*,*,..,..
00000090: 2c83 920a 8e9d 82c1 0993 ae8e 8c2c 8ea9  ,............,..
000000a0: 97a7 2c2a 2c2a 2c8c dc92 6981 4583 5e8d  ..,*,*,...i.E.^.
000000b0: 732c 9841 9770 835e 90da 91b1 2c8e 9d82  s,.A.p.^....,...
000000c0: c22c 8382 8362 2c83 8283 620a 82c4 098f  .,...b,...b.....
000000d0: 958e 8c2c 90da 91b1 8f95 8e8c 2c2a 2c2a  ...,........,*,*
000000e0: 2c2a 2c2a 2c82 c42c 8365 2c83 650a 82a2  ,*,*,..,.e,.e...
000000f0: 0993 ae8e 8c2c 94f1 8ea9 97a7 2c2a 2c2a  .....,......,*,*
00000100: 2c88 ea92 692c 9841 9770 8c60 2c82 a282  ,...i,.A.p.`,...
00000110: e92c 8343 2c83 430a 82dc 82b7 098f 9593  .,.C,.C.........
00000120: ae8e 8c2c 2a2c 2a2c 2a2c 93c1 8eea 8145  ...,*,*,*,.....E
00000130: 837d 8358 2c8a ee96 7b8c 602c 82dc 82b7  .}.X,...{.`,....
00000140: 2c83 7d83 582c 837d 8358 0a81 4209 8b4c  ,.}.X,.}.X..B..L
00000150: 8d86 2c8b e593 5f2c 2a2c 2a2c 2a2c 2a2c  ..,..._,*,*,*,*,
00000160: 8142 2c81 422c 8142 0a45 4f53 0a         .B,.B,.B.EOS.

私の手持ちの環境はX86_64 linuxのubuntuなので，Macの事はよく分かりません。
もう一度MeCabのインストール状態について確認してみてはいかがでしょうか?

Comments

[ssmisa]

ありがとうございます！
解決できそうです、助かりました！