pythonのchardetにて文字コード判別がNoneになる。

Question

pythonのchardetにて文字コード判別がNoneになるのですが、
説明がつく方いらっしゃればご教示頂ければ幸いです。

shift-jisで書かれた
「偽装テスト」の文言と思われるのですが、
Noneが返ってきてしまい、判別が出来ず、
原因と回避策を立てたく宜しくお願いします。

import chardet

# 16進数では 8b559195836583588367 でshift-jisと思われる
result = chardet.detect(b'\x8bU\x91\x95\x83e\x83X\x83g')['encoding']

if not result:
    raise Exception()

Answer 1

from chardet.sjisprober import SJISProber
p = SJISProber()
p.reset()
p.feed(b'\x8bU\x91\x95\x83e\x83X\x83g')
print(p.get_confidence())  # => 0.01

# もう1回繰り返すと確信度が高くなる
p.feed(b'\x8bU\x91\x95\x83e\x83X\x83g')
print(p.get_confidence())  # => 0.99

短くて確信度が足りてないということのようです。

https://github.com/byroot/chardet/blob/c33398f950d204f716dfbab2251e62a8a9fb8d48/chardet/universaldetector.py#L144

            if maxProber and (maxProberConfidence > MINIMUM_THRESHOLD):
                self.result = {'encoding': maxProber.get_charset_name(),
                               'confidence': maxProber.get_confidence()}
                return self.result

https://github.com/byroot/chardet/blob/c33398f950d204f716dfbab2251e62a8a9fb8d48/chardet/universaldetector.py#L144

MINIMUM_THRESHOLD = 0.20

確信度が0.2より高くなる長さが要ります。

Answer 2

短すぎるからでしょう。

>>> '偽装テスト'.encode('sjis')
b'\x8bU\x91\x95\x83e\x83X\x83g'
>>> '偽装テスト'.encode('cp932')
b'\x8bU\x91\x95\x83e\x83X\x83g'

と同じになります。、
これだけでは'sjis'なのか'cp932'なのか特定できませんので、Noneを返しているのだと思います。

Comments

[ikadzuchi]

sjisは常にcp932と区別が付きませんので、「'sjis'か'cp932'か区別が付かない」ことは理由ではありえません。

[ppaul]

>>> "髙".encode(encoding='cp932')
b'\xee\xe0'
>>> "髙".encode(encoding='sjis')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'shift_jis' codec can't encode character '\u9ad9' in position 0: illegal multibyte sequence
では、違っていますね。

[ikadzuchi]

いえ、私の言っているのは、「sjisでエンコードされたデータ」が「cp932でエンコードされたデータ」と区別が付かないということで、
それはそもそもsjisでエンコードされたデータを作れていない状況なのでまた別の話ですね。