テキストファイルをpickle関数を使って書き出したい。

Question

前提

pickle関数の使い方がよくわかりません。
前提として、ディープラーニングを実装するために必要なデータセットがバイナリファイルとして保存されています。あるパスからこのバイナリファイルを呼び出すために非pickle関数が使われていました。

実現したいこと

今回私がやりたいことは、デフォルトのプログラムを用いて自前のデータセットでディープラーニングを実装したいと思っています。
自前のデータセットはテキストファイルに保存されています。
そのため、一度以下のようにpickle関数でバイナリ変換を行い、非pickle関数で呼び出したいと思っています。

#pickle
with open(file_name, 'wb') as f:
   pickle.dump(binary_file, f)

#非pickle
with open(file_name,'rb') as f:
   pickle.load(file_name,f)

発生している問題

以下のコードにテキストファイルをpickle関数でバイナリ変換を行い、15行目でロードしてくるようなプログラムに書いたいのですが、どう書いたらいいのかがわかりません。
よろしくお願いいたします。

該当のソースコード

class HEARTBEAT3(DenseDesignMatrix):
    def __init__(self, which_set):

        self.path = '/home/HEARTBEAT-3'
        self.img_size = 125
        if which_set in {'train'}:
            X, y = self.load_data()
        elif which_set in {'test', 'valid'}:
            X, y = self.load_data_test()

        X = X.astype('float32')

        super(HEARTBEAT3, self).__init__(X=X, y=y)

    def unpickle(self, file_name):
        with open(file_name, 'rb') as f:
            if sys.version_info.major == 2:
                return pickle.load(f)
            elif sys.version_info.major == 3:
                return pickle.load(f, encoding='latin-1')

    def load_data(self):

        nb_train_samples = 2475
        fpath = os.path.join(self.path, 'test_batch')
        batch_dict = self.unpickle(fpath)
        data = batch_dict['data']
        labels = batch_dict['labels']

        X = np.zeros((495, self.img_size), dtype='uint8')
        y = np.zeros((495,1), dtype='uint8')

        X = data.reshape(495, self.img_size)
        y[:, 0] = labels

        return X, y

補足情報（FW/ツールのバージョンなど）

Ubuntu18.04

Answer 1

pickleとはPythonデータをそのままファイルとしてやりとりするための仕組みなので、おおむね以下のような流れのコードを書けばよいです。

# テキストファイルを読み込む

# batch_dictに適切にデータを格納する
batch_dict = dict()

# pickleにてバイナリファイルとして保存する
with open('test_batch', 'wb') as f:
    pickle.dump(batch_dict, f)

Comments

[iface]

回答ありがとうございます。
こちらは、新たに関数を作るのでしょうか。

[iface]

dict()とはなんでしょうか。
テキストファイルのことでしょうか。

[iface]

何度もすいません。
dict()はからの要素ですね。

ということは、以下のコードは必要なく書き出すだけで良いということでしょうか。
with open(file_name, 'rb') as f:
return pickle.load(f)

[can110]

おおむね回答のような流れのコードを書けばよいと思いますが、いかがでしょうか？

[iface]

すいません、まだ理解ができていません。
私がやりたいことは以下のコード通りです。
これを関数として扱うにはどうしたら良いでしょうか。

```
txt = open('traindata.txt','r',encoding='UTF-8')

with open('binary_file', 'wb') as f:
pickle.dump(txt, f)

with opne('binary_file', 'rb') as f:
batch_dict = pickle.load(f)
```

[can110]

やりたいことが理解できませんがそのコードを関数の中にいれればよいのではないでしょうか？
def func():
# そのコード

[iface]

もともとデータセットの形式がバイナリファイルだったので、unpickle関数で読み込みだけ行われていました。
しかし、私のデータセットはバイナリファイルではなくテキストファイルを使いたいので、一度バイナリ化して再度読み込む必要があるかと思います。やりたいこととしては以上です。

関数の中に入れたいのですが、どう入れたらいいのかがわかりません。

[can110]

データセットのファイルの形式は本質ではありません。
解決（取り組む）べきなのは、ご自身で用意したテキストファイルの中身をPython上での適切なデータ型、構造に格納することです。
その肝心な「適切なデータ型、構造」が不明だと問題は解決できません。

[iface]

データセットは辞書型で、このような構造です。

{'filename':[ '.csv', '.csv', ...], 　
'labels':[ 0, 0, , ...],
'data':array([[-440,-910,... ],[1135,-1031,.... ],[ ]...])}