cifar10からヒストグラムでデータセットの作成

Question

前提・実現したいこと

pythonにおいてcifar10の32×32の画像データから0～255段階に分かれたヒストグラムのヒスト値のデータに変換してデータセットを作り直したいと思っています。

発生している問題・エラーメッセージ

txtファイルでデータセットを作りたいと思い、以下のコードを組み実行した後ファイルの中を見ると、ひとつの画像データにつき1行でデータを抑えたいのですが数行に渡ってのデータになってしまいました。
修正の仕方を教えていただきたいです。

エラーメッセージ

該当のソースコード

import numpy as np
import dlt
import cv2

# ---------------------------------------------------------
data = dlt.cifar.load_cifar10()

print(data.train_images.shape)
print(data.train_labels.shape)
print(data.test_images.shape)
print(data.test_labels.shape)

X_train = data.train_images.reshape([-1, 32, 32, 3])
X_test = data.test_images.reshape([-1, 32, 32, 3])
print('%i training samples' % X_train.shape[0])
print('%i test samples' % X_test.shape[0])
print(X_train.shape)

Y_train = to_categorical(data.train_labels, 10)
Y_test = to_categorical(data.test_labels, 10)

nclasses = 50000
count = 0
for i in range(nclasses):
     X_train_gray = cv2.cvtColor(X_train[count],cv2.COLOR_RGB2GRAY)
     hist, bins = np.histogram(X_train[count].ravel(),256,[0,256])
     #print(hist)
     with open('test1.txt','a') as file:
          print(hist, file=file)
          print(Y_train[count], file=file)
     
     print(count)
     count += 1

試したこと

ここに問題に対して試したことを記載してください。

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

改行される理由としては、
0. printでend=""を指定しないと自動的に改行が挿入されます

1. numpy配列をprintしたとき、大きい配列だと勝手に改行されます

の2点があります。
1点目への対処は簡単で、キーワード引数のendに""を指定してください。
2点目はそうもいかないですし、numpy配列をprintしたフォーマットというのは読み込みづらいので、他の方法で処理する必要があります。pickleやnp.saveを使ってシリアライズする（おすすめですが、今のコードとは異なる方針で書く必要が出てきます）、numpy配列をリストに変換してからprint（これで成功するかは保証できません。たぶんできると思いますが・・・）、自分でcsvなどのフォーマットを決めてprint、等の方法を取るしかないかと。

Comments

[python_man]

回答ありがとうございます。
2点目のほうのnp.save等を用いてシリアライズする際のコードを少し教えていただけないでしょうか？
また、numpy配列をリストに変換する際はtolist()を用いて行えばよろしいでしょうか？

[hayataka2049]

コード例は調べれば出てくるので、検索していただければ
np.saveだとファイルオブジェクトかファイル名を引数に渡して、1配列1ファイルという形で保存できますね。np.dumpsというのもあり、こちらはバイト列を返します。
listへの変換はtolistで大丈夫です。
私なら.txt形式で保存するのは諦め、適当なコレクション型に入れてpickle.dumpでまるごと吐き出すようにします。

[python_man]

ありがとうございます。
pickle.dumpでもやってみようと思います！