共起行列から総単語数を取り出す処理について

Question

ゼロからつくディープラーニング２の２章をやっていて疑問に思ったことがあります。

# 参考材料

text = 'You say goodbye and I say hello.'

↓上のテキストの共起行列
C = [[0 1 0 0 0 0 0]
 [1 0 1 0 1 1 0]
 [0 1 0 1 0 0 0]
 [0 0 1 0 1 0 0]
 [0 1 0 1 0 0 0]
 [0 1 0 0 0 0 1]
 [0 0 0 0 0 1 0]]

# ppmiの式
np.log2(C[x,y]*N / (C[x]*C[y]))
# ※Nは総単語数、Cは共起行列です。

のように、ゼロからつくディープラーニング２の２章に書いてあったのですが、そこでppmiを作るために、総単語数Nを取得するためのコードが

N = np.sum(C)

と書いてあったのですが、これではCの中身の1を全て合計するので14
になってしまいます。しかし、'You say goodbye and I say hello.'の総単語数はピリオドも含めて、８（７？）です。なので、14は総単語数ではないのではないかと思いました。なぜ、N = np.sum(C)で、総単語としているのかを教えていただきたいです。

Answer 1

ある種の近似が入っていると正誤表で説明されています。
https://github.com/oreilly-japan/deep-learning-from-scratch-2/wiki/errata

Comments

[kontikuwa]

ありがとうございます。助かりました。
あとできれば、正誤表に書いてあることをわかりやすく解説していただけると嬉しいです。これを読んだだけでは無能なのでよくわからんなくて。
Nが共起行列の縦と横全てからとってきた値であることだけは分かったんですけど、この本に「Nはコーパスに含まれる単語数」と書いてあったのですが、それを実装のところでは違うN（共起行列の縦横全ての値）を使って良いのでしょうか？

[quickquip]

本来の単語数をN(8)とすると、ここで近似として使ってるのは 2N-2(14) です。
ppmiは「定数が足されている」ようにでてくるんじゃないかと思いました。
コーパスが大きいと、Nが大きくなるからそんなに気にならない? ということですかね。
もうちょっと考えてみるか、実際に違いを見比べるかしないと、ハッキリとは言えないですが。

[kontikuwa]

ありがとうございます。今しっかり読んでみたのですが、自分は無能なため、よくわからないんで気にしなくてもいいですかね？

[quickquip]

> 本来の単語数をN(8)とすると、ここで近似として使ってるのは 2N-2(14) です。

は納得できますか?

[quickquip]

log の計算に関する知識は一通りありますか?

[kontikuwa]

logの計算に関する知識はあります。
なぜ近似として2N-2(14)を扱っているのかがよくわからなくて、教えていただけるのであれば教えていただきたいです

[kontikuwa]

本来の単語数N(8)と2N-2(14) で全然数が違うのでよくわからなくて

[kontikuwa]

８だとダメなんでしょうか？無能すぎてわかりません。

[quickquip]

"共起行列があればだいたい近似できるので共起行列だけあればいい"のは、まぁそうかな、程度には思います。（ほんとうにはしっかり考えてないといけないですが）
このあたりを回答に追記すればいいのかもですね。

8を直に使わない理由はわかりません。コーパスが大きくなる（GB〜TBオーダー）と、単語数を共起行列と別に出すのが大変とかでしょうか? "でもそんなことあるかなぁ。共起行列を出す難しさよりずっと楽じゃないかなぁ"というのが率直な感覚です。

[kontikuwa]

ありがとうございます