どうして「dense」？

Question

深層学習実装に時々「dense」という単語に遭遇します。
"密度"ですね。。。
でも、どうして"密度"と関係あるのでしょうか。

単にnetworkのパラメーターを定義(新規導入)するための関数かと思うんですが。
誤解でしょうか。

その辺の経緯ご存知の方宜しくお願いします

Answer 1

グラフは、頂点（ノード）と辺（エッジ）から構成されるデータ構造です。　深層学習で使われる"ニューラルネットワーク"は、グラフの一種です。

グラフには密度という概念があり、（グラフに含まれる辺の数）／（グラフの可能な辺の数）で計算できます。

「可能な」というのはネットワークの性質によって決まります。一般的な（特段の制約のない）グラフなら「あるノードから出る可能な辺は、他の全ての頂点につながる辺」となりますし、多層ニューラルネットワーク(隣接する層の頂点の間にのみ辺がある)なら、「ある頂点から出る可能な辺は、隣接する層のすべての頂点につながる辺」となります。

Comments

[mkgrei]

全結合層というものですね。密度の意味もありますが、密であるという意味もあります。全部結合しているので、密そうな雰囲気ですね。

[wakame]

今日だともっと密な層がたくさんあるので当時のなごりがそのまま残っているという感じでしょうか。

[oookabe]

皆さん　ありがとうございました！
皆さまの視野や知識のデカさにいつも感心しました。
これからも宜しくお願い致します。