numpyでsort(axis=1)した二次元配列を戻したい

前提・実現したいこと

確率を表す配列a(indexが試行回数、columnが要素)に対して、並び替えた後に20パーセンタイル以下を落とす処理を行い、それを元の順に並び替えたい。
確率のweight配列の20 percentile以下をsortせずに落とせる場合はそちらの方法も知りたいです。

python
1a = np.array([[0.1,0.2,0.4,0.3], [0.5,0.01,0.1,0.39]])
2b = np.sort(a, axis=1)
3c = np.argsort(a, axis=1)
4b_new = cut20percentile(b)  #累積が0.2までの項目を0に落とす
5"""
6追記：現状は下記のような処理を考えています。
7確率に占める重要な要素をピックアップする（微小要素を除去する）ため、
8index方向に昇順に逐次累積を行い、閾値以下をカットします。
9目的はsklearnのPCAのweight_で要素数をカットする処理のようなイメージです。
10
11def cut20percentile_each(x):
12    percentile = 0
13    for i in range(x.shape[0]):
14        percentile+=x[i]
15        if percentile < 0.2:
16            x[i] = 0
17    return x
18def cut20percentile(x):
19    return [cut20percentile_each(x[i]) for i in range(x.shape[0])]
20cut20percentile(b)
21>>[array([0. , 0.2, 0.3, 0.4]), array([0.  , 0.  , 0.39, 0.5 ])]
22
23"""

試したこと&発生している問題

2行目がうまくソートが戻らない

python
1print(b)
2>>  [[0.1  0.2  0.3  0.4 ]
3     [0.01 0.1  0.39 0.5 ]]
4print(c)
5>> [[0 1 3 2]
6    [1 2 3 0]]
7[b[x, c[x,:]] for x in range(b.shape[0])]
8>> [array([0.1, 0.2, 0.4, 0.3]), array([0.1 , 0.39, 0.5 , 0.01])]

補足情報

python3.6
ここにより詳細な情報を記載してください。

hayataka2049

2018/11/06 02:13 編集

「累積が0.2までの項目を0に落とす」ってどんな処理ですか。縦に累積（単にsumですかね）するということ？

hamar1

2018/11/06 02:33

追記依頼いただいた部分について補足致しました。表現が不足していたらご指摘いただきたいです。

行動規範の内容に同意します

回答2件

ほとんどコーディング上のテクニックだけなんですが、こんな風に書けます（ただし1.15以降の新し目のnumpyでないと動きません）。

python
1import numpy as np
2
3def cut20percentile(x):
4    a = x.argsort(axis=1)
5    r = a.argsort(axis=1)
6    sorted_x = np.take_along_axis(x, a, axis=1)
7    sorted_x[np.cumsum(sorted_x, axis=1) < 0.2] = 0.0
8    return np.take_along_axis(sorted_x, r, axis=1)
9
10a = np.array([[0.1,0.2,0.4,0.3], [0.5,0.01,0.1,0.39]])
11print(cut20percentile(a))
12""" =>
13[[0.   0.2  0.4  0.3 ]
14 [0.5  0.   0.   0.39]]
15"""

投稿2018/11/06 06:32

hayataka2049

総合スコア30933

hamar1

2018/11/06 07:38

ありがとうございます。cumsumを内包表記で書くという方法があるんですね。表記方法など総じて大変参考になります。非常に迷いましたが、この質問にたどり着く方がまずargsortの意味の理解を深められるという観点でgh640さんをベストアンサーにさせていただきます。

行動規範の内容に同意します

ベストアンサー

おそらく np.argsort() で得られた c は a → b に変換するための情報なので、 b → a の変換は逆向きに行う必要があるのではないでしょうか。

私の理解が正しければ c にもう一度 np.argsort() をかけたものは逆変換の意味になるので、次の形で行けるのではないかと思います。

python
1a = np.array([[0.1,0.2,0.4,0.3], [0.5,0.01,0.1,0.39]])
2b = np.sort(a, axis=1)
3c = np.argsort(a, axis=1)
4
5[b[x, np.argsort(c[x])] for x in range(b.shape[0])]
6# => [array([0.1, 0.2, 0.4, 0.3]), array([0.5 , 0.01, 0.1 , 0.39])]
7
8# あるいは次のとおり:
9d = np.argsort(a, axis=1).argsort()
10[b[x, d[x, :]] for x in range(b.shape[0])]
11# => [array([0.1, 0.2, 0.4, 0.3]), array([0.5 , 0.01, 0.1 , 0.39])]