PandasのDataFrameの列を行番号・列番号とみなして、numpyのarrayを作りたい

Question

以下のようなDataFrameがあります。

このDataFrameをnumpyのarrayに変換したいのですが、このとき、

• arrayのi行j列目の値をxとしたい
• 欠損している値は0.0としたい

つまり、

array([[90. ,  0. ,  0. ],
       [91. , 91.1,  0. ],
       [92. ,  0. , 92.2]])

のような配列がほしく、単純なforループで書くと

# data: 上記DataFrameとする
arr = np.zeros((data['i'].max() + 1, data['j'].max() + 1))
for _, row in data.iterrows():
    arr[int(row['i']), int(row['j'])] = row['x']

のようになります。

けれど、この方法だと、DataFrameが巨大になったとき、非常に効率が悪いと思うので、これに相当する処理を効率よく書く方法を教えてください。

Comments

[bsdfan]

解決済みなのでこちらにコメントさせていただきます。

ループ使わずに、下記のように書けます。
arr = np.zeros((data['i'].max() + 1, data['j'].max() + 1))
arr[data['i'], data['j']] = data['x']

[gyu-don]

たしかに。それでいけますね。気づかなかった…。ありがとうございます。

Answer 1

こうです。

>>> import pandas as pd
>>> import io
>>>
>>> indata = '''i j x
... 0 0 90.0
... 2 0 92.0
... 1 1 91.1
... 1 0 91.0
... 2 2 92.2'''
>>>
>>> with io.StringIO(indata) as f:
...     df = pd.read_csv(f, sep=' +', engine='python')
...
>>> print(df)
   i  j     x
0  0  0  90.0
1  2  0  92.0
2  1  1  91.1
3  1  0  91.0
4  2  2  92.2
>>>
>>> arr = df.pivot(index='i', columns='j').fillna(0).values
>>> arr
array([[90. ,  0. ,  0. ],
       [91. , 91.1,  0. ],
       [92. ,  0. , 92.2]])

Comments

[gyu-don]

まさに求めていたものが用意されていたのですね。ありがとうございます。 https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.pivot.html

Answer 2

scipy.sparse.csr_matrixを使うと簡潔に書けます。
行列が巨大であれば疎行列のまま扱うほうがよいかもしれません。
参考：Python, SciPy（scipy.sparse）で疎行列を生成・変換

from scipy.sparse import csr_matrix, csc_matrix, coo_matrix, lil_matrix
import pandas as pd

df = pd.DataFrame({'i':[0,2,1,1,2], 'j':[0,0,1,0,2], 'x':[90,92,91.1,91,92.2]})

shape = (max(df['i'])+1, max(df['j'])+1)
csr = csr_matrix( (df['x'], (df['i'],df['j'])), shape=shape)
a = csr.toarray()
print(a)
#[[90.   0.   0. ]
# [91.  91.1  0. ]
# [92.   0.  92.2]]

Comments

[gyu-don]

なるほど、確かにこれは疎行列そのものです。ありがとうございます。