Circle CIでJumanで文字化け

##実現したいこと
JavaのCIをCircle CIで行おうとしております。
形態素解析器のJumanを使うので、そこをテストしたいと考えております。
出来ることならjavaのコードは変えずにテストを通したいです。

##現状
###circle.yml

yml
1machine:
2  environment:
3    LANG: ja_JP.UTF-8
4  java:
5    version: oraclejdk8
6dependencies:
7  pre:
8    - sudo apt-get update; sudo apt-get install juman

###文字化けはこんな感じ

org.junit.ComparisonFailure: expected:<0, '[話', '名詞]'> but was:<0, '[�', '̤�����]'>

###sshデバッグ
sshで接続してjumanを使ってみるとこんな感じです。

まずはターミナルの文字コードをUTF-8にすると

$ juman
あああ
�� �� �� ̤������ 15 ����¾ 1 * 0 * 0 NIL
�あ �あ �あ ̤������ 15 ����¾ 1 * 0 * 0 NIL
�� �� �� ̤������ 15 ����¾ 1 * 0 * 0 NIL
� � � ̤������ 15 ����¾ 1 * 0 * 0 NIL
EOS

ターミナルの文字コードをEUC-JPにすると

$ juman
あああ
ああ ああ ああ 指示詞 7 副詞形態指示詞 3 * 0 * 0 NIL
あ あ あ 未定義語 15 その他 1 * 0 * 0 NIL
EOS

でうまくいきます。

よろしくお願い致します。

行動規範の内容に同意します

回答1件

解決には至っていませんが、
形態素解析は自分も興味があったのでいろいろ試してみた結果を報告します。
少しでも御参考になれば幸いです。

質問された内容ですが、
juman ではなくmecab ですが、こちらで報告されている現象に似ていますね。

参照：Cloud9環境にmecabをインストール、文字化けした時の対処法。

私の環境では UTF-8 の端末で juman をその方法でインストールすると

$ sudo apt-get install juman
... 中略 ...
$ juman
あああ
あ あ あ 感動詞 12 * 0 * 0 * 0 "代表表記:あ/あ"
ああ ああ ああ 指示詞 7 副詞形態指示詞 3 * 0 * 0 NIL
EOS

と、正常に動いてしまいます。

mecab に関しては、引用したサイトにあるような文字化けが起きました。

$ sudo apt-get install juman
... 中略 ...
$ mecab
あああ
あああ	�ü�,����,*,*,*,*,*
EOS

表示される「�」ですが、EUCコードをUTF-8 の端末で表示した場合にでてきます。

$ echo あああ | nkf -euc
������

以上から推察するに、juman のUTF-8ではない辞書（おそらく EUC）が使われているのではないでしょうか。
こちらの環境で現象を再現できないので確たることは言えませんが、
なんらかの理由でお使いの環境では apt-get install juman で
EUCコードの辞書がインストールされてしまうか、
あるいはすでに EUCコードの辞書がインストールされていて、
apt-get により更新されないのかもしれません。

投稿2016/01/11 19:11