chardetにて文字コード推測を大きいファイルで速度良くしたい

Question

chardetにて大きいファイルの文字コードを推測したいのですが、
shift-jisの処理が重く、軽くなる方法を教授頂ければ幸いです。
やりたい事は行単位ではなくバイト単位取得して速度改善がしたいです。

# サンプルファイルです。
# https://firestorage.jp/download/c1a6ca47104d65a7a37c16f91ad59b0f7f39f9ef
# https://firestorage.jp/download/d93ada8c225856dfeb65a2f48c321fe4e181c504

import contextlib
import chardet
import os
import io

def detect_encoding(filename):
    chunk_size = 100
    with open(filename, 'rb') as f:
        b = f.read()
        buf = io.BytesIO(b)

    with contextlib.closing(chardet.UniversalDetector()) as detector:
        while True:
            chunk = buf.read(chunk_size)
            if not chunk:
                break
            detector.feed(chunk)
            if detector.done:
                break
    return detector.result['encoding']


def encode(src_filename):
    src_encoding = detect_encoding(src_filename)
    print(src_encoding)


if __name__ == '__main__':
    encode(src_filename="./shiftjis_1.txt")
    # encode(src_filename="./utf8_1.txt")

Comments

[quickquip]

> shift-jisの処理が重く
というのは、Shift-JISのファイルだけ時間がかかるという意味でしょうか?
単純には、ファイルを全部読みこんでいるせいなのでは? と思ってしまいますが。

[color]

サイズ的にはutf-8の方が重いです。

[color]

detector.doneが上手く作用していない様な挙動ですね。