pythonで日本語が文字化けする

Question

<相談したい事>
pythonで日本語で記載されたテキストファイルを読み込ませて、処理結果を出力しようと
すると文字化けしていしまいます。
open関数で読み込むときにencoding = 'utf8'と変換をした後で読み込んで文字化けなどを
しないようにしているつもりなのですが、原因が分からなくて困っています。

import nltk
from nltk import ngrams
from pyknp import KNP
import jctconv
import re

# knpで形態素解析を行ったあとの結果をリストで返す
def separate(text,option = '-tab'):
    number_word = []
    tokens = []
    knp = KNP(option = option)
    result = knp.parse(jctconv.h2z(text,digit = True))

    for mrph in result.mrph_list():
        tokens.append(mrph.midasi)
    return tokens


# 形態素解析を行った結果から、共起の結果を得る
def word_cooccurrence(list):
    bigrams = nltk.bigrams(list) # バイグラムを作成
    fd = nltk.FreqDist(bigrams) # バイグラムの出現頻度分布
    return fd.items()


if __name__ == '__main__':
    with open('text.txt','r', encoding = 'utf8') as f:
        text = f.read()
    result = word_cooccurrence(separate(text))
    print(result)

<text.txtの中身>
ポット内の温度が100℃より低い場合、水が沸騰しない。

<実行結果>
dict_items([(('�|�b�g', '��'), 1), (('��', '��'), 1), (('��', '���x'), 1), (('���x', '��'), 1), (('��', '�P�O�O'), 1), (('�P�O�O', '��'), 1), (('��', '���'), 1), (('���', '�Ⴂ'), 1), (('�Ⴂ', '�ꍇ'), 1), (('�ꍇ', '�A'), 1), (('�A', '��'), 1), (('��', '��'), 1), (('��', '����'), 1), (('����', '��'), 1), (('��', '�Ȃ�'), 1), (('�Ȃ�', '�B'), 1)])

<試したこと>
文字コードを宣言したり、文字コードを指定してファイルを開くなどの方法は
行ったが結果は変わらなかった。

pythonのバージョンはpython3.6.1
OSはWindows10です。

Comments

[can110]

ファイルから読み込まずに「text = 'ポット内の温度が～'」と直接文字列を渡した場合でも文字化けしますか？

[syen2501]

はい、文字化けしてしまいます。

[hayataka2049]

OSとpythonのバージョンの情報を追記した方が良いかもしれません

Answer 1

問題が起きているところを、絞りこんで探していくことをしましょう。

from pyknp import KNP
sentence = KNP(option='-tab').parse('ポット内の温度が１００℃より低い場合、水が沸騰しない。')
print([m.midasi for m in sentence.mrph_list()])
print(len(sentence.mrph_list()[0].midasi))
print(ord(sentence.mrph_list()[0].midasi[0]))

これをたとえばPython対話環境で動かした結果はどうなりますか?

['ポット', '内', 'の', '温度', 'が', '１００', '℃', 'より', '低い', '場合', '、', '水', 'が', '沸騰', 'し', 'ない', '。']
3
12509

になりますか? (12509はポのコードポイントです)

それがokだと確信が持ててはじめて、次を検証します。

import nltk
bigrams = nltk.bigrams(['ポット', '内', 'の', '温度', 'が', '１００', '℃', 'より', '低い', '場合', '、', '水', 'が', '沸騰', 'し', 'ない', '。'])
fd = nltk.FreqDist(bigrams)
print(fd.items())

はどうですか?

dict_items([(('ポット', '内'), 1), (('内', 'の'), 1), (('の', '温度'), 1), (('温度', 'が'), 1), (('が', '１００'), 1), (('１００', '℃'), 1), (('℃', 'より'), 1), (('より', '低い'), 1), (('低い', '場合'), 1), (('場合', '、'), 1), (('、', '水'), 1), (('水', 'が'), 1), (('が', '沸騰'), 1), (('沸騰', 'し'), 1), (('し', 'ない'), 1), (('ない', '。'), 1)])

になりますか?

ここまで確認できてはじめて、ファイルの入出力が問題なんだなと考えます。

with open('text.txt','r', encoding = 'utf8') as f:
    print(ord(f.read()[0]))

の結果は12509ですか?

---

OSはなんですか? KNPはどうインストールしましたか?

Comments

[syen2501]

解答して頂きありがとうございます。
確認の手順をご指摘してくださった通りに行おうとしたのですが、
一番最初の部分で出力結果が、下記のようになってしまいます。
['�|�b�g', '��', '��', '���x', '��', '�P�O�O', '��', '���', '�Ⴂ', '�ꍇ', '�A', '��', '��', '����', '��', '�Ȃ�', '�B']
3
12509

[quickquip]

print('ポット') がそもそもまともに表示されないのでは?

[syen2501]

返信ありがとうございます。
print('ポット')しても文字化けします。

[quickquip]

きっとWindowsだと思うので別の質問を立てるのもいいでしょうし、文字化けを気にしないでこのまま、ファイルから読んでファイルに書き込む方向で作りこんでいくのでもいいかと思いました。

Answer 2

with open('text.txt','r', encoding = 'utf8') as f:

このencodingは、
読み出し：ファイル内容がUTF8という前提で読み込む
書き込み：書き込む文字列をUTF8にして書き込む

ってことなんで、ファイルのナカミがUTF8ではない場合、文字化けします

まずは元ファイルの文字コードがなにか調べてみることです

Answer 3

テキストファイルの文字コードがutf-8になっているでしょうか？
テキストエディタでファイルを保存するとき[名前を付けてファイルを保存]のようなメニューに[文字コード]を設定できるので試されては？