機械学習 次元の意味

Question

質問

機械学習や深層学習で次元という言葉が出てきますが、意味がつかみ切れていません。

例えば、MNISTの画像は28×28の1チャネルで784次元と表しますが、
画像自体は2次元なので、1画素が1次元という感覚がよくわかりません。

畳み込みを行う際も2次元か3次元のフィルターを使用すると思うので、うまく自分の中で解釈できずにいます。

わかりにくくなってしまいましたが、よろしくお願いいたします。

Answer 1

次元という言葉はふたつの意味合いで使われるので、注意が必要です。
ひとつはベクトルの要素数で、多くはこちらです。機械学習だと特徴量の次元が議論の中心なので、「特徴量は3次元のベクトル」という表現は特徴量が3つと同義です。
もうひとつはベクトルの構造を表現するもので数学風にいうと一次独立なベクトル数というらしいです。質問にある28×28でいうと横方向の要素数28のベクトルと縦方向の28要素数のベクトルで構成されているので2次元という表現になります。

したがって、fiaさんの感覚の2次元というのは後者の意味合いで784次元は前者の意味合いになります。

Answer 2

ここでいう「次元」はベクトル空間の次元です。

機械学習はデータをベクトルとみなして処理するのが基本です。だから、4つの特徴量があれば4次元ベクトルです。

CNNなどで画像を取り扱ったりするのは、あえて言えば傍流というか後の方から出てきた方法なのです。

初学者はirisの判別分析などから入った方が良いでしょう。

Answer 3

次元(dimension)、、、多意的な言葉。

１．(上位次元としての)空間を張る座標軸の数
2. 上記各座標軸上の刻みの数➡sub次元
3. 同一対象に対して、見方によって次元数が変わる

画像データに対して、
人間は『二次元』に感じられるが、
計算機的に『一次元』である。