データの水増しについて(mnist文字データをpngファイルで保存→Augmentationで画像を変える→mnist文字データに変形)

Question

データの水増しについて検討しています。
そこで、mnistデータのような手書き文字データを使って画像を拡大するコードに挑戦しました。

現在、行っていることは

１．matplotlibでデータをpngファイルで保存

２. Augmentationで画像を変形

３．その画像をもう一度,mnistと同じデータ形式に変形する

です。
そこで問題点と・質問として、
・　（１．）の項目で画像表示・保存するときに画像の端に境界線として黒い線が表示・保存されます。
もともとの画像

データを変えた画像

このような周りの黒い線を消したいです。

・　（３．）の項目で保存した文字画像をmnistデータのように784ピクセルの画像データに変形できない

があります。
宜しくお願いします。

以下がコードとなります。

import Augmentor
from PIL import Image
import shutil
import os

# data : トレーニングデータ  label : ラベルデータ

# カタカナの「セ」のデータ
img_0 = data[20]

# matplotlibのデフォルト設定では、目盛り線などが表示される。余分な線などを削除する。
plt.tick_params(labelbottom=False, labelleft=False, labelright=False, labeltop=False)
plt.tick_params(color='white')

# img_0 を画像として表示
plt.imshow(img_0[0,:,:],cmap="gray")

# あるフォルダに保存
plt.savefig('フォルダの場所')

# Augmentorを用いて画像データを変える
p = Augmentor.Pipeline("フォルダの場所")
p.rotate(probability=0.7, max_left_rotation=10, max_right_rotation=10)
p.zoom(probability=0.5, min_factor=1.1, max_factor=1.5)
p.sample(1)


# 新たな画像データを取得する
img_ = Image.open("フォルダの場所")
print(img_)

# 新たな画像データの形式を確認
img_ = np.array(img_)
img_.shape
# (288,432,4)←もともとは(1,28,28)　この形に直したいが、、、、

Comments

[can110]

第三者が検証できるよう、提示されている処理のソースコードを提示ください。

[Q71]

カタカナの「セ」ですか？それを構成するドットの太さと、「周りの黒い線」の太さが明らかに異なっています。「周りの太い線」がデータの一部であることを、どのようにして確認しましたか。
「mnistデータのように784ピクセルの画像データに変形できない」とのことですが、MNISTデータのフォーマットを、どのように理解されていますか。それに対して、どのようなデータを、どのようにしてMNISTデータに「変換しようと」されましたか。

[akihir]

ソースコードを提示しました。
また、画像を回転させると、「周りの黒い線」も回転してしまいます。
これより「周りの黒い線」もデータの一部になってしまっていると考えました。

[tiitoi]

matplotlib はグラフ表示ライブラリなので、今回の目的で plt.savefig() で画像を保存するというのは間違っています。
OpenCV の imwrite() を使えば、画像データのまま保存されます。

[akihir]

今回用いた手書き文字データは、画像がなく、0~255までのデータ配列のものとなっています。そのような場合、OpenCVは使用できるのでしょうか。

[tiitoi]

できますよ。PIL でもいいです。
回答に書きました。

Answer 1

今回用いた手書き文字データは、画像がなく、0~255までのデータ配列のものとなっています。そのような場合、OpenCVは使用できるのでしょうか。

画像はデータ上は配列なので、配列も画像といえます。

OpenCV または PIL を使うと、以下のように配列を画像ファイルとして保存できます。
OpenCV は画像のチャンネル順は BGR なので、配列のチャンネル順が RGB の場合は img[..., ::-1] でチャンネル順を反転させてから保存します。

import numpy as np
import cv2
from PIL import Image

color = (255, 0, 0)  # RGB (赤)
img = np.full((300, 300,  3), color, dtype=np.uint8)

cv2.imwrite('sample.png', img[..., ::-1])

Image.fromarray(img).save('sample.png')