各ノード間の相関を表すdataframeから無向グラフのネットワーク図を作成したい

Question

０から４で示されるの５つのノードとそれらの相関を示す以下の行列(データフレーム)について、

があり、

・相関の大きさ＝エッジの太さ
・相関が0.10以下は表示しない
・エッジの向きは考慮しない

という条件を付与したネットワーク図を作成したいのですが、一通り調べても初心者の自分にはなかなか参考になりそうなものはありませんでした。

ライブラリはnetworkxを使っており、実装の時には次元数n=1000程度の行列を考えています。
また無向グラフの場合、片側三角行列に直した方が良いとの情報もありましたが、一応手は加えずにそのままの状態にしてあります。

どなたか詳しい方にご教授お願いしたいです。
どうかよろしくお願い致します。

以下に完成のイメージ図を載せておきます。図右側の凡例は無くても大丈夫です。

こちらが、例に挙げた行列のデータフレームになります。

Answer 1

以前に類似したものを実装したことがあるので掲載します。

# 相関マトリクス作成
corr_matrix = df.corr()

# networkxに引き渡すエッジリストを準備
edge_lists = []

for i in corr_matrix.index.values :
    for j in corr_matrix.index.values :
        #描画したいものだけを抽出する
        if (corr_matrix.loc[i,j] > 0.10) & (corr_matrix.loc[i,j] != 1) :
            tmp = (i,j,corr_matrix.loc[i,j]*10) #(from,to,weight)のタプルを作成
            edge_lists.append(tmp)

import networkx as nx

# 描画の準備
G = nx.Graph()
G.add_weighted_edges_from(edge_lists)

plt.figure(figsize=(18,18))  #描画対象に合わせて設定する

np.random.seed(seed=1234)    #ノードポジションの再現性を確保するためseedを設定する
pos = nx.spring_layout(G)    #ノードのポジションの計算


nx.draw_networkx(G,pos=pos,font_size=15,alpha=0.8)

無向グラフの場合、A→Bのエッジを設定したらB→Aの設定は不要なのですが、上記ではその考慮をしていません。よってcorr_matrixが大きいと処理に時間を要するので必要に応じて改良してください。
エッジリストは、(from,to)だけでもOKです。私の場合は相関係数によってノード間の距離を変えたかったのでweightを設定しました。なお、weightがない場合はadd_weighted_edges_from()が使えませんので、公式ドキュメントなどで確認して変更してください。

Comments

[James1201]

ありがとうございます。
解決しました。NW関連はまだまだ疎いのでこれからの参考にさせていただきます。
また機会がありましたらよろしくお願い致します。

Answer 2

とりあえず書いてみました。

個人的には、大規模なデータでループを回すのは極力避けたいため、三角行列化やFilter処理などは DataFrame上で行い、df.stack()やdf.melt() などを使ってDataFrameから直接エッジリストを生成するのが良いかと思います。

以下サンプルです。

このデータで0.10以下をフィルターすると・・・なのですが。

import pandas as pd
import numpy as np
import networkx as nx
import matplotlib.pyplot as plt

df = pd.DataFrame(
    [[1.        ,0.00165727,0.31542317,0.29266571,0.01082075],
     [0.00165727,1.        ,0.16202656,0.03057694,0.15787778],
     [0.31542317,0.16202656,1.        ,0.01456645,0.02475163],
     [0.29266571,0.03057694,0.01456645,1         ,0.04057993],
     [0.01082075,0.15787778,0.02475163,0.04057993,1.        ]])

# エッジの名前を定義（適当）
edge_name = ['A','B','C','D','E']
df.index = df.columns = edge_name

# 相関係数DFより右上の三角行列およびに 0.1以下のデータをマスク
tmp_df = df.mask(np.triu(np.ones(df.shape)).astype(bool) | (df < 0.1))
# エッジリストを生成
edge_lists = tmp_df.stack().reset_index().apply(tuple, axis=1).values

G = nx.Graph()
G.add_weighted_edges_from(edge_lists)
pos = nx.circular_layout(G)
# weight に応じてラインの太さを調整（適当）
line_width = [d['weight']*20 for u,v,d in G.edges(data=True)]
nx.draw_networkx(G, pos=pos, node_size=800, node_color='gray', width=line_width)

plt.show()

Comments

[James1201]

回答ありがとうございます。
とても参考になりましたが、今回、実装先のデータの次元が4桁ほどあるので汎用できる方をBAに致しました。
また、機会がありましたらよろしくお願い致します。