深層学習のモデル内の高次元のベクトルの意味を追求しようとする動きが少ない理由

Question

例えばTransformerが提案された論文では、モデルのエンコーダの出力をみて、その高次元のベクトルを二次元まで落とし込んで可視化して意味を考察するといったことがされていないのはなぜでしょうか。
これに限らず、深層学習のモデルを流れるデータを見てそのベクトルの意味を確認しようとする行為があまり活発でない気がするのはなぜでしょうか。
単純にむりだから、需要がないからということでしょうか。

Attention Is All You Need

Answer 1

その高次元のベクトルを二次元まで落とし込んで可視化して意味を考察するといったことがされていない

ヒントン先生のt-sneで「柔軟にクラスタリングできるよね」というようなところでひと段落付いたと思っていました。

ベクトルの意味を確認しようとする行為があまり活発でない気がするのはなぜでしょうか。
単純にむりだから、需要がないからということでしょうか。

現在の主流が「目的は精度UP」に向いていて、「目的は判別意味の理解（XAI）」は気になるけど今はちょっと…感がするとかそういうところと思います。そこから考えると、需要はあるけど(t-sneしかりgrad camしかり)処理が遅いだろうし、（十分な精度ができてない現状で）わざわざ精度の低い理由をみてもなぁ（お金になるんかいな）みたいなところと思います。

何かスペシャルな技術…恐らくFantasticNoobさんが思い描いていることと思いますが「単に精度UPに血眼になっていたってできっこないよ、判別の根拠がわかってないんだから」みたいなことができて、「その精度の悪さは○○が原因でしょう、ほらね」みたいなことができれば、今の主流自体が変わるかもしれません。

Comments

[FantasticNoob]

例えば僕が今かなり雑に考えたものだと、質問と少し方向性が変わりますが、高次元のベクトルに対して、MICのような相関性をとらえる手法を適用してその値からなにか、もともとのデータに対しての知見を得る、、、みたいなことは可能なのかなとかんがえています。

[FantasticNoob]

すいません。もっとわかりやすくかきなおします。　①オートエンコーダのような形式のNNで洗剤表現(高次元のベクトル)を得る。②t-SNEをもちいて二次元まで落とし込む。③２変数間の非線形の相関性をMICを使って求める。

以上の様に行ったとして、最終的に得られる一桁の数値は何を表しているんですかね、、、

[退会済みユーザー]

うまく言えませんがいかに私の理解を書きます。

> ①オートエンコーダのような形式のNNで洗剤表現(高次元のベクトル)を得る。
埋め込みembeddingによる（ベクトル表現の）類似度が得られます。距離が近い方が似ているというイメージです。言葉で言えば、車とラクダとリンゴみたいな無茶苦茶な関係のものも表現上は類似度として表現できます。覚えた結果分けることができた、みたいな感じと思います。

>②t-SNEをもちいて二次元まで落とし込む。
t-SNEはPCAのような次元削減技術で、似たようなものを近くにまとめることができるので、これも類似度として表現できます。こっちは分離性を上げるために似てないものはなるべく遠くしようみたいな意図が含まれそうです。

> ③２変数間の非線形の相関性をMICを使って求める。
これはうまく言えませんが、ピアソン相関係数のように「意図らしきもの」が介在する余地なく、ある程度傾向のある散布図的なものの類似度を見る技術と思います。