pythonのnx.pagerankにおけるエラーの解決

Question

実現したいこと

• ツイッターのフォロワーのネットワークを描写したい。
• そのために、nx.pagerankのエラーを解決するか、代替策を講じたい。

前提

pythonでツイッターのあるアカウントのフォロワーのつながりについて、ネットワークを描写したいです。https://mangalab.hatenablog.com/entry/MangaAnimeNetworkのコードを真似したのですが、networkのpagerankが上手く機能しません
google colaboratoryで動かしています。

発生している問題・エラーメッセージ

---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-15-3c1c903d9ca2> in <module>
     93 
     94 #中心性（Pagerank）を計算
---> 95 pr = nx.pagerank(G)
     96 
     97 #グラフ描画用にprの値を調節

3 frames
/usr/local/lib/python3.8/dist-packages/networkx/classes/backends.py in wrapper(*args, **kwds)
    143                         f"'{name}' not implemented by {plugin_name}"
    144                     )
--> 145         return func(*args, **kwds)
    146 
    147     _register_algo(name, wrapper)

/usr/local/lib/python3.8/dist-packages/networkx/algorithms/link_analysis/pagerank_alg.py in pagerank(G, alpha, personalization, max_iter, tol, nstart, weight, dangling)
    107 
    108     """
--> 109     return _pagerank_scipy(
    110         G, alpha, personalization, max_iter, tol, nstart, weight, dangling
    111     )

/usr/local/lib/python3.8/dist-packages/networkx/algorithms/link_analysis/pagerank_alg.py in _pagerank_scipy(G, alpha, personalization, max_iter, tol, nstart, weight, dangling)
    457 
    458     nodelist = list(G)
--> 459     A = nx.to_scipy_sparse_array(G, nodelist=nodelist, weight=weight, dtype=float)
    460     S = A.sum(axis=1)
    461     S[S != 0] = 1.0 / S[S != 0]

/usr/local/lib/python3.8/dist-packages/networkx/convert_matrix.py in to_scipy_sparse_array(G, nodelist, dtype, weight, format)
    591             r += diag_index
    592             c += diag_index
--> 593         A = sp.sparse.coo_array((d, (r, c)), shape=(nlen, nlen), dtype=dtype)
    594     try:
    595         return A.asformat(format)

AttributeError: module 'scipy.sparse' has no attribute 'coo_array'

該当のソースコード

import tweepy
from tqdm import tqdm
import pandas as pd
import networkx as nx
from networkx.algorithms import community
from pyvis.network import Network
import collections
import itertools

consumer_key = '
consumer_secret = 
access_token = '
access_token_secret = '

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)

api = tweepy.API(auth, wait_on_rate_limit=True)

col_names_st = ["source","target"]
col_names_stw = ["source","target","weight"]

sources = ["@"]

nodelist = []

image_dict = {}
name_dict = {}

for source in sources:
    for friend_id in tweepy.Cursor(api.friends_ids, screen_name=source, count=200).items(1000):
        friend = api.get_user(friend_id)
        nodelist.append(friend.screen_name)
        image_dict[friend.screen_name] = friend.profile_image_url
        name_dict[friend.screen_name] = friend.name

nodelist = set(nodelist)

df_check = pd.DataFrame(columns=col_names_st)

for node in tqdm(nodelist):
    node_mentions = []
    try:
        for status in api.user_timeline(screen_name=node, count=200):
            node_mention = status.entities['user_mentions']
            try:
                node_mentions.append(node_mention[0]['screen_name'])
            except Exception as e:
                pass
    except Exception as e:
        pass

    node_mentions_dict = collections.Counter(node_mentions)

    date_add = [node,node_mentions_dict]
    df_add = pd.DataFrame([date_add], columns=col_names_st)
    df_check = pd.concat([df_check, df_add])

df_all = pd.DataFrame(columns=col_names_stw)

for node in tqdm(nodelist):
    group1_dict = df_check[df_check['source']==node]['target'].iloc[-1]

    for key1,value1 in group1_dict.items():
        if key1 in nodelist:
            group2_dict = df_check[df_check['source']==key1]['target'].iloc[-1]

            for key2,value2 in group2_dict.items():
                if key2 == node:
                    score = min([value1,value2])

                    if score > 0:
                        date_add = [node,key1,score]
                        df_add = pd.DataFrame([date_add], columns=col_names_stw)
                        df_all = pd.concat([df_all, df_add])

df_all['value'] = df_all['weight']
df_all['length'] = (1/df_all['weight']*50)

G = nx.convert_matrix.from_pandas_edgelist(df_all, edge_attr=True)

G.remove_edges_from(nx.selfloop_edges(G))

G_rem=[]
for v in G:
    G_deg=G.degree(v)
    if G_deg==0:
        G_rem.append(v)

G.remove_nodes_from(G_rem)



#中心性（Pagerank）を計算
pr = nx.pagerank(G)

#グラフ描画用にprの値を調節
mn = min(list(pr.values()))
mx = max(list(pr.values()))
for key, val in pr.items():
  pr[key] = (1+((val-mn)/(mx-mn))*4)
  #クラスタリング
k = 8 #クラスタ数

comp = community.girvan_newman(G)
community_list = []
for communities in itertools.islice(comp, k-1):
    community_list.append(tuple(sorted(c) for c in communities))

community_list = list(community_list[k-2])

#ノード属性を指定するためのデータフレーム（名前・ラベル・サイズ・形・画像URL・色）
df_nodes = pd.DataFrame(columns=['name','label','size','shape','image','color'])

for node in G:
  if node in community_list[0]:
    c = 'orange'
  elif node in community_list[1]:
    c = 'gold'
  elif node in community_list[2]:
    c = 'pink'
  elif node in community_list[3]:
    c = 'salmon'
  elif node in community_list[4]:
    c = 'yellowgreen'
  elif node in community_list[5]:
    c = 'sandybrown'
  elif node in community_list[6]:
    c = 'violet'
  else:
    c = 'pink'
  

  #ノード属性を追加
  date_add = [node,name_dict[node],pr[node]*10,"image",image_dict[node],c]
  df_add = pd.DataFrame([date_add], columns=['name','label','size','shape','image','color'])
  df_nodes = pd.concat([df_nodes, df_add])

#ノード属性をネットワークに反映
nodes_attr = df_nodes.set_index('name').to_dict(orient = 'index')
nx.set_node_attributes(G, nodes_attr)
# networkxグラフをpyvisグラフに変換
g = Network(width="100%", height="100%") #画面サイズに対する比率を設定
g.from_nx(G) #NetworkXのグラフをPyvisに変換

# グラフをhtmlで出力
g.show_buttons()
g.show("network.html")

試したこと

pageRankを手動で指定しようとしてみましたが、2.0とか適当に指定しても上手くいきませんでした。

TypeError                                 Traceback (most recent call last)
<ipython-input-16-a53a64347d7a> in <module>
    127 
    128   #ノード属性を追加
--> 129   date_add = [node,name_dict[node],pr[node]*10,"image",image_dict[node],c]
    130   df_add = pd.DataFrame([date_add], columns=['name','label','size','shape','image','color'])
    131   df_nodes = pd.concat([df_nodes, df_add])

TypeError: 'float' object is not subscriptable

chatGPTなどに手伝ってもらっても上手くいかず、調べて出てきたpagerank_numpyなどを試しても上手くいかず、八方ふさがりになっていしまいました。

Comments

[melian]

coo_array() が追加されたのは Scipy 1.8.0rc1 なので、そちらの環境にインストールされている Scipy の version が 1.8.0 よりも前のものなのではないでしょうか。

Add an array API to scipy.sparse · scipy/scipy@82071b2
https://github.com/scipy/scipy/commit/82071b2120b1a54e5235a6940b02b0d9c6184594

[meg_]

使用されているモジュールのバージョンを質問に追記ください。

[manoestasmano]

ありがとうございます。1.8.0rc1にversionを変えたら出来ました。

Answer 1

モジュールのバージョンが古かったようなので、

pip install --upgrade pip

してから、

pip install scipy==1.8.0rc1
pip install --upgrade numpy

することで解決しました。