ランレングス圧縮してみて、ファイル容量確認したら増えてた

Question

ランレングス圧縮を実現させたい

あるデータをランレングス圧縮した後、バイナリ保存してファイル容量を確認してみたら、増加していた。
なにがいけないのかわかりません。
もちろんデータの長さは減っているのですが...

発生している問題

ファイル容量[byte]
25088   0259.yuv（圧縮前）
73680   0259.rle（圧縮後）←　圧縮できていない...

該当のソースコード

読みだしている元データはnumpy配列のバイナリデータです。

#!/usr/bin/env python3
import os
import sys
import numpy as np
import argparse

from lib.pyutils import byte2uint
from lib.pyutils import bd_info
import toolz as z


def encode(s: str) -> str:
    encoded = []
    str_len = len(s)
    if str_len == 0:
        return encoded
    start = 0
    character = s[0]
    for i in range(1, str_len):
        if character != s[i]:
            diff = i - start  
            _str1 = str(diff)+str(character)
            encoded.append(diff)
            encoded.append(character)
            character = s[i]
            start = i

    diff_len = str_len - start
    #_str2 = str(diff_len)+str(character)
    encoded.append(diff_len)
    encoded.append(character)

    return encoded


def decode(s: str) -> str:
    str_len = len(s)
    if str_len == 0:
        return decoded

    decoded = [s[i+1] for i in range(0, len(s), 2) for j in range(s[i])]

    return decoded


def main():
    parser = argparse.ArgumentParser(
        description="Run Length Encoding option")
    parser.add_argument('--out', '-o', default='result', help='Output directory')

    args = parser.parse_args()
    
    bitdepth = 8
    _, bytesize, dtype = bd_info(bitdepth)
    yuv_file = '0259.yuv'
    
    #sys.stderr.write("\rcurrent frame {} / {}". format(i+1, len(sorted_file_l)))
    #yuv_file = os.path.join(yuv_dir, _file)
    yuv_data = byte2uint(open(yuv_file, 'rb').read(), bytesize, 1)

    #for s in str_list:

    encoded = encode(yuv_data)
    decoded = decode(encoded)
    #for a, b in zip(['文字列', '符号化', '復号化', '比較'],
    #                [yuv_data, encoded, decoded, yuv_data == decoded]):
    for a, b in zip(['比較'],
                    [yuv_data == decoded]):
        print('{}: {}'. format(a, b))
    print(len(yuv_data))
    print(len(encoded))
    print(len(decoded))
    
    suffix = '.rle'
    path = os.path.join(args.out, str(yuv_file.split('.')[0]))

    a = np.array(encoded)
    import pdb;pdb.set_trace()
    with open(path+suffix, 'wb') as f:
        f.write(np.array(encoded))
    np.save(path, encoded)
    print()
  

if __name__ == '__main__':
    main()

libのbyte2uint部分です

import time
import toolz as z
from toolz import curry, pipe
from toolz.curried import map as cmap
import numpy as np
import os
import math
import struct
import json
from functools import reduce
from operator import add, mul
import itertools


@curry
def byte2uint(byte_stream, byte_size, l=0):
    if int(byte_size) == 1:
        f = 'B'
        dtype = 'u1'
    elif int(byte_size) == 2:
        f = 'H'
        dtype = 'u2'
    else: 
        raise ValueError("invalid byte_size")

    t1 = time.time()
    part = z.partition_all(int(byte_size), byte_stream)

    barray = [bytearray(i) for i in part]
    la = [struct.unpack("<"+f, i) for i in barray]
    var_int = [z.first(i) for i in la]

    t2 = time.time()
    print("time is {}". format(t2-t1))

    if l:
        return var_int
    else:
        npint8 = np.array(var_int, dtype=dtype)
        return npint8

試したこと

ちなみに、npyデータで保存した場合は以下になりました。
73808 0259.npy

補足情報（FW/ツールのバージョンなど）

Ubuntu 16.04
python3.5.2

Answer 1

コードの詳細は見てませんが、単にランレングスに適したデータでなかったという事ではありませんか?
ランレングスってどんなだったかと思って検索したら、
ランレングス圧縮(連長圧縮) 　というページにも書いてありました。 (特徴のところ)
zip等のツールは、この辺、サイズを見て、無圧縮で保存する異もるようですね。

ところで、"データの長さは減っている"はどう確認したのでしょうか?

Comments

[Lizard_knight]

元のデータは目視でも連続性の高いデータであると確認しているので、理論的に考えてファイル容量は小さくなるはずなのですが...
データの長さはlen()関数でlistの長さを出力して確認した結果です