pythonで省メモリなlistを作りたい

Question

pythonで、

name = 'ファイルまでのパス'
with open(name, 'rb') as f: #            ファイルをバイナリモードで読み込む
    while True:
        bait = f.read(1) #               ファイルを1バイトづつ読み込み、baitに代入する
        if bait:
            bait = str(bin(ord(bait))) # baitを二進数表記(例：0b1101等)に変換
            bait = bait[2:] #            baitの先頭2文字(0b)を削除
            zero_comp = 8 - len(bait)
            while zero_comp > 0: #       baitのサイズを1バイト(8ビット)にする
                bait = '0' + bait
                zero_comp = zero_comp - 1
            small_bin = list(bait) #     baitを1文字づつsmall_binに代入する
            x_arr.append(small_bin) #    x_arrにsmall_binを代入する
        else:
            break

というようなコードを書いてファイルのデータをlist型の変数(ここではx_arr)に代入しています。
しかし、このコードだと数MBほどしかないファイルデータを代入するだけで
x_arrが数GBものメモリを消費してしまいます。
listのメモリ使用量を抑える方法があれば教えてほしいです。
わかりにくい質問ですみません。

Comments

[tiitoi]

バイナリデータをなぜわざわざ2進の文字列表記にしているのでしょうか？

[AIthon]

データ圧縮に興味があり、自分で圧縮プログラムを作りたかったからです。データを処理するときに２進数のほうが処理しやすいと考えたからです。

Answer 1

データ圧縮に興味があり、自分で圧縮プログラムを作りたかったからです。データを処理するときに２進数のほうが処理しやすいと考えたからです。

2進表記の文字列にする必要はないと思います。
read() で bytes データとして読み込んで、圧縮などなにか処理したい場合も bytes データに対して直接操作するべきだと思います。
こうすれば、ファイルとほぼ同じメモリしか必要としません。

with open(filepath, 'rb') as f:
    data = f.read()
    
# data を使ってなにかする。

Comments

[AIthon]

なるほど、回答ありがとうございます。
メモリ上に全てのデータを移すのは自分の作ろうとしているプログラムの都合上2進データを数100~数1000回ほど使うのでいちいち読み込むのはPCに負担がかかると考えたからです。説明不足で申し訳ありません。

[tiitoi]

「データ圧縮」とあったので、zip のようにファイルを圧縮する処理を書きたいと理解していますが、それでよろしかったでしょうか。
コンピューターで扱うデータはデジタルデータなので、ビット演算で2進として扱えるので、2進表記文字に変換する必要はないです。

読み込むファイルが数百MB程度ならそのまま全部読み込んでしまっても、昨今のメモリ容量であれば問題ないでしょうし、数GBとか一度に読み込むと問題があるようであれば、f.read(適当なバイト数) で少しずつ読み込んで処理してHDDに出力するというのを繰り返せばいいと思います。

質問でメモリ量が増えてしまっている問題はデータを文字列にしてしまっている点です。
例えば、int64 型の整数を表すのは8バイトで済みますが、これを2進表記の文字列にした場合、64個の0/1の文字分のメモリが必要になるので、かなり冗長になります。

[AIthon]

遅くなって申し訳ありません。0,1を文字列としてリストに代入していることに気づいていませんでした。ありがとうございます。