決定木の出力 UnicodeDecodeError

Question

前提・実現したいこと

jupyter notebookでデータ分析の学習をしています。
決定木が表示されません。

発生している問題・エラーメッセージ

unicodeがおかしいようなのですが、よくわかりません。

g = pydotplus.graph_from_dot_file(path="tree.dot")
Image(g.create_png())



UnicodeDecodeError                        Traceback (most recent call last)
<ipython-input-14-2c212d0e8e24> in <module>
      1 g = pydotplus.graph_from_dot_file(path="tree.dot")
----> 2 Image(g.create_png())

~\anaconda\lib\site-packages\pydotplus\graphviz.py in <lambda>(f, prog)
   1789             self.__setattr__(
   1790                 'create_' + frmt,
-> 1791                 lambda f=frmt, prog=self.prog: self.create(format=f, prog=prog)
   1792             )
   1793             f = self.__dict__['create_' + frmt]

~\anaconda\lib\site-packages\pydotplus\graphviz.py in create(self, prog, format)
   2016                 stderr_output = NULL_SEP.join(stderr_output)
   2017                 if PY3:
-> 2018                     stderr_output = stderr_output.decode(sys.stderr.encoding)
   2019 
   2020         # pid, status = os.waitpid(p.pid, 0)

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x82 in position 14: invalid start byte

Answer 1

まずtree.dotをメモ帳など、エンコーディングを指定して保存できるテキストエディタで開きます。
次にファイルの先頭付近で以下のようにフォントを指定します。
最後にUTF-8で保存します。

graph g{
    graph [fontname = "MS UI Gothic"];
    node [fontname = "MS UI Gothic"];
    edge [fontname = "MS UI Gothic"];

    "以下略"
}

Answer 2

決定木に入れるデータでUTF-8以外の文字コードを使用していているのかと思います。

Python側はUTF-8と思って処理しているので、0x82コードが理解できんよと言っています。
くわしくは第6回　先行バイトの埋め込み

要は、決定木に読み込ませるデータをUTF-8にしたらよいと思います。
また、特に日本語が必須でなければ英数字のみにて。

Comments

[Toru_Takakura]

読み込ませるデータの文字コードをutf-8にすればよいというのは分かったのですが
ファイルの文字コードの変換方法が分からず解決できていないです。
コマンドプロンプトなどでコマンドを叩くのでしょうか？

[aokikenichi]

文字コード 変換
あたりでググればすぐ分かると思いますが、、、

あなたがどうファイルを扱っているかでいろいろ変わります
Python内で変換する方法
テキストエディタで変換する方法
文字コード変換プログラムで変換する方法

OSによっても違います
Windowsならばメモ帳でも可能です。

[Toru_Takakura]

ありがとうございます。
Python内でUTF-8に変換し、解決しました。