畳み込み演算について

Question

Tensorflowの学習後の量子化について学んでいます。

論文
こちらの論文の2.4. Implementation of a typical fused layerで、「uint8値の積の累積には32bitのアキュムレータが必要」という記述と、「int32 += uint8 * uint8 」という式があります。
8bitと8bitの乗算には16bitで十分かと思いますが、なぜ32bitが必要なのでしょうか。

また、tensorflowには16*8量子化というスキームがあります。こちらでは8bitと16bitの値を畳み込み演算、すなわち積を累積しているのですが、64bitのアキュムレータが必要とされています。その理由は何でしょうか。

Answer 1

積算なので。Σq1×q2のq連中を8bitで済まそう、みたいな話でしょう。
N=1なら16bitで済みますが、たとえばN=100とかになれば、Σの結果を格納するには24bit必要になります。
もちろん、「qはほとんど0」みたいな特殊な前提が置けたりする状況では、16bitに収まったりするかもですが。

Comments

[caffeine_0105]

ありがとうございます！