自作のデータセットでSVMを走らせる方法

Question

自作のイメージファイルで作成したデータセットがあるのですが、Support vector machine(SVM)解析を行う方法が分かりまん。

SVMではMNISTやdigitなどのデータセットを読み込む方法があるのを知っているのですが、同じようなデータ形式を作成して自作データを運用する方法って無いですか？

宜しくお願いします！！！！！

Comments

[tiitoi]

自作のデータセットがどのようなものなのかを追記してください。
ファイル形式、フォーマット、中身など

[mgumi66]

データはpngファイルで、中身はモザイク状のカーペットのような単なる模様です。
データ数は1000も無い程度です。

[tiitoi]

画像サイズはいくつなのでしょうか？
MNIST は28x28 なのでそのまま使えますが、
例えば、学習画像が 500x500 の RGB 画像だとすると、画像1枚の情報量が 500*500*3=75万次元のベクトルになってしまうので、なんらかの特徴抽出を行って次元を減らさないと、そのままでは SVM では扱えないと思います。
画像分類なら CNN とか使ったほうがよくないでしょうか。

[mgumi66]

ありがとうございます。
画像サイズは6×6なので、SVMで解析してみたいと思っています。

Answer 1

画像をクラスごとにディレクトリで分けておいて、

my_dataset
├── a ← クラス a の画像が入っている
├── b ← クラス b の画像が入っている
└── c ← クラス c の画像が入っている

ディレクトリから画像を読み込んで、

X: (サンプル数, 次元数) のデータを表す2次元配列
y: (サンプル数,) のラベルを表す1次元配列

を返す関数を作成すればよいと思います。

データを読み込んで、SVM に流せる状態にするまでのコードを以下に記載します。

from pathlib import Path

import numpy as np
from PIL import Image
from sklearn.preprocessing import LabelEncoder
from sklearn.svm import SVC

dataset_dir = Path(r"my_dataset")
# 以下のようなディレクトリ構成を想定
# my_dataset
# ├── a ← クラス a の画像が入っている
# ├── b ← クラス b の画像が入っている
# └── c ← クラス c の画像が入っている


def load_dataset(dataset_dir):
    data = []
    labels = []

    for sub_dir in dataset_dir.iterdir():
        for img_path in sub_dir.iterdir():
            img = np.array(Image.open(img_path))
            # 画像のサイズは全部同じであることを想定
            label = sub_dir.name

            data.append(img)
            labels.append(label)

    return np.array(data), np.array(labels)


X, y = load_dataset(dataset_dir)

X = X / 255  # [0, 1] にする。
X = X.reshape(len(X), -1)  # (サンプル数, 次元数) にする。

encoder = LabelEncoder()
y = encoder.fit_transform(y)  # 文字を整数にする。["a", "b", "c"] -> [0, 1, 2]

print(X.shape, X.dtype)
print(y.shape, y.dtype)
print(y)
# (3, 3686400) float64
# (3,) int64
# [0 1 1]

Comments

[mgumi66]

返答が遅くなりました。試してみたところ、無事に画像データからSVMを走らせることができました。
SVMのスコアは少し変だった（0,1の全てが1に判定された）のですが、おそらくデータセットの問題なのかなと思っています。
どうもありがとうございました。