Pythonによるカオスニューラルネットワークの計算について：各ニューロンの出力の相関がみられないのは？

Question

概要

カオスニューラルネットワークでのニューロンの出力の相関計算について質問させてください。
※カオスニューラルネットワークがわからなくてもここがおかしい！等のご意見も歓迎です。
下記の数式をPythonで実装しただけになので計算部分のご指摘などいただけるだけでも幸いです。

当方はカオスニューロンをこのようにわっか上にN個双方向結合させ,カオスニューラルネットワークを構成しました。※カオスニューラルネットワークについて ⇒ こちら

ちなみに番号もこの通りで,ニューロン番号1とニューロン番号2,ニューロン番号2とニューロン番号3...ニューロン番号N,ニューロン番号1が繋がっています。

今回,このように結合させたカオスニューラルネットワークについて
相互相関分析や偏相関分析を用いて結合している/していないニューロンの出力の相関を確認することで相関と結合の関係性を確認できるかプログラミングをしました。

実装前の結果の予想としては,結合係数を双方向ともに+1で設定したため,ニューロンの出力が増減すれば結合している先のニューロンも増減が対応すると考えられます。

そのため,結合しているニューロン同士の相関は1に近づくと予想しましたが,相互相関分析では結合していないニューロンも含め全体的に相関が似通ってしまい,偏相関分析では全体的に相関が見受けられない(0に近い)結果になってしまいました。

人に相談しても,漠然とコードが間違っているのでは？と言われるだけで困ってしまい,ここに相談するに至りました。以下がコードになります。

コード

import os
import math
import matplotlib
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
from numpy.random import *


#使う配列/数値定義
N=50
λ=0.000000000000001 
t=100000
kr = 0.95
km = 0.7
ai = 0.09
α = 0.7
ε = 0.004
η = np.zeros((N,t))
ζ = np.zeros((N,t))
x = np.zeros((N,t))
y = np.random.rand(N,t)


#ディレクトリ設定
save_dir1 = '/test/Chaotic/'+'Cross Corration'
save_dir2 = '/test/Chaotic/'+'Partial Corration'

if not os.path.exists(save_dir1):
    os.makedirs(save_dir1)
if not os.path.exists(save_dir2):
    os.makedirs(save_dir2)

#ネットワーク生成
w1=1
w2=1
w = np.zeros((N,N))
for i in range (N-1) :
    w[i,i+1]=w[i+1,i]=w1
w[0,N-1]=w[N-1,0]=w1

#カオスニューロン計算処理
for ts in range (t-1):
    for i in range (N):
        ζ[i,ts+1]=kr*ζ[i,ts]-α*y[i,ts]+ai 
        η[i,ts+1]=km*η[i,ts] 
        for j in range (N):
            η[i,ts+1]=η[i,ts+1]+w[i,j]*y[j,ts] 
        x[i,ts+1]=η[i,ts+1]+ζ[i,ts+1] 
        if x[i,ts+1] > 0 :
            y[i,ts+1]=1/(1+math.exp(-x[i,ts+1]/ε))
        else:
            y[i,ts+1]=math.exp(x[i,ts+1]/ε)/(1+math.exp(x[i,ts+1]/ε))


#t-200,t指定 ※相関見る部分の制定
yy=np.zeros((N,200))
for i in range (t-200,t):
    yy[:,i-t+200]=y[:,i]

#Get Cross Corration
svc = np.corrcoef(yy)

#Get Partial Corration
def cov2partialcorr(cov):
    omega=np.linalg.inv(cov) 
    #omega=np.linalg.pinv(cov)
    D=np.diag(np.power(np.diag(omega),-0.5))
    partialcorr=-np.dot(np.dot(D,omega),D)
    partialcorr+=2*np.eye(cov.shape[0])
    return partialcorr

#逆行列を作れるようにする
cov=np.cov(yy)
cov=cov+λ*np.eye(N)
partialcorr=cov2partialcorr(cov)

#Get Color Map of Cross Corration
plt.figure(figsize=(8,6))
plt.title('Cross Corration', y=1.00, size=24)
sns.heatmap(svc, vmax=1, vmin=-1,center=0,cmap='rainbow')
plt.savefig(os.path.join(save_dir1,'Cross Corration '+'.png'))

#Get Color Map of Partial Corration
plt.figure(figsize=(8,6))
plt.title('Partial Corration', y=1.00, size=24)
sns.heatmap(partialcorr, vmax=1, vmin=-1, center=0,cmap='rainbow')
plt.savefig(os.path.join(save_dir2,'Partial Corration '+'.png'))

結果

先に説明した通り思った通りの結果が得られていません。
予想通りなら対角線上付近のみが赤色で,それ以外の箇所(結合していないニューロン同士)が緑色であるべきなのですが。。。

実際に試したり思ったこと

偏相関分析の際に,逆行列が作れないことがあったため微小なλを係数にもつ単位行列をもとの行列に足したり(#逆行列を作れるようにする),疑似逆行列を代わりに作ったりなど試したものの問題は解決に至らず。

また,#カオスニューロン計算処理 部分についても,番号の処理順が常にニューロン1から始まってしまうことが問題なのか...と考えておりますが,相関が出ない理由にはならないのかなあ...と。

ご意見頂けると幸いです。また,久しい投稿/質問になりますゆえ,至らない点があるかもしれませんがよろしくお願いいたします。

追記

本ネットワークはカオスニューラルネットワークであるから,単純に相関が出るはずという考え自体がおかしくて,リアプノフ指数等を踏まえてニューロン数に応じた正しいパラメータも設定しなければならないのでしょうか。。。と疑問。

Answer 1

はあ, 知らん aaaaa

Answer 2

まだ内容を十分に理解できていないため、変なこと言ってたらごめんなさい。。
減衰定数の kf（上記の変数名だとkm） を参考リンク先に書かれている値の 0.2 にしてみたところ、多少「それっぽい」形になったのですが、いかがでしょう？ （0.7だとカオス状態にならない？）
もう一点、シグモイド関数の計算式に少し「？」を感じました。（なぜ正負で分けているのか？）
参考まで、numpyを使ったシグモイド関数の実装の参考リンクを提示しておきます。

Comments

[退会済みユーザー]

コメントありがとうございます。
>減衰定数の kf（上記の変数名だとkm） を参考リンク先に書かれている値の 0.2 にしてみたところ、多少「それっぽい」形になったのですが、いかがでしょう？

確かに僕の結果よりはそれっぽいです。相互相関/偏相関行列もどちらかというと対角線付近が明るい色になってますし... また,1と末端のニューロン付近も相関が出ていますしそれっぽいですね。

しかしながら,実際には繋がっていない箇所の相関も高く表現されているため,まだモヤモヤします。とはいえ,カオスニューラルネットワークの挙動はパラメータ選択で大きく変わるため,適切なパラメータ選択をしなくてはならないですよね。パラメータがおかしいからという切り口も今後考えようと思います。

>シグモイド関数の計算式に少し「？」を感じました。（なぜ正負で分けているのか？）

こちらはPythonのeの都合で場合分けしています。eの指数部分が+710を超えるとエラーが発生してしまうため,等式変形で正負によって場合分けしています。