Numpyのboolの配列のtureのところを抜き出して演算した後に、抜き出した部分に関連する部分をもう一度bool化して、もとのboolのtureのところに代入する

Question

お世話になります。Numpyの操作が分からず、ご質問します。

実現したいこと

実現したいことを一言で表現すると
「floatが格納された1次元の配列に、閾値によってフィルタリングしてboolに変換した後に、もう一度違う値の閾値でフィルタリングしてboolに変換した後に、もとのboolの配列とマージする」ということをしたいです。

イメージとしては次のような感じです
１.まず、次のような数字データがあったとします。

　　--

２.このデータに対して、ある閾値(ここでは10.0)を超えるものと超えないものでbool化します。

　--

３.TRUEのところだけ抜き出して、抜き出した部分を1.0倍するとします。（分かりにくいですが・・）

　--

４.抜き出したデータから更に演算して新しい閾値を求めます。抜き出したデータからとある演算をして閾値が16.0になったとします。新しい閾値を用いて更にBool化します。

　　--

５.もとの「２.」のbool値のTRUEのところに「4.」の結果を代入する形で、もう一度boolの配列を作ってカラーマップで出力する。（今回はカラーマップで出力することが本質ではないので割愛します）

例題

上記の説明では分かりにくいと思うので、次のような例題を考えます。（問題設定がやや強引なこと、加えて「実現したいこと」で例示したものと数字が違いますが、突っ込まないで頂ければと思います・・・）

• とある工場で、『機械の稼働状況』と『電力消費量』の２種類のデータが得られた
• この工場の電力消費量の基準値を超える時間帯を検出したい
• まず電力消費量が基準料を超える時間帯を出力し、そのときの機械の稼働状況と電力消費量を出力する
• 次に検出された時間帯の電力消費量は機械にかなり負担をかけた運転をしているものとして、電力消費量が基準料を超える時間帯の『機械の稼働状況』を平均して1/2をしたものゲインとして求めて、このゲインを電力消費量が基準料を超える時間帯の『電力消費量』に掛ける（複雑ですが、工場内で経験的に使われている計算だと思って下さい）
• さらに、前の項目で求めたゲインを4乗して新しい基準値を求め、前の項目でゲイン倍した『電力消費量』が新しい基準値を超えているかどうかを判定する
• 最終的にboolの配列を求める

最終形として、[false ,true ,false true ,false ,false]
となっていれば正解です．

試したこと

途中まで作成しましたが、次のとおりです。

import numpy as np

# numpyのarrayを作成：一時間ごとの機械の稼働状況。行は一時間ごと(6工場ある)、列は機械(2種類ある)の稼働状況を意味する
data_array = np.array([[1.1, 1.2], 
                    [2.1, 2.2], 
                    [3.1, 3.2], 
                    [4.1, 4.2],
                    [5.1, 5.2], 
                    [6.1, 6.2]])
# 各時間帯における電力消費                    
power_array = np.array([3.3 ,9.9 ,2.2 ,8.8 ,1.1 ,7.7])

# 電力消費が基準を超えているか判定する（ここでは閾値を5.0とする）
v1_array = power_array > 5.0

# 基準値を超える時間帯の「機械の稼働状況」と「電力消費」を出力する
print(data_array[v1_array ])
print(power_array[v1_array ])

# 閾値を再計算する
# 稼働状況の平均を更に2で割った数を割りかけする
gain = data_array[v1_array ].mean() /2

# 求めた値をもとの電力データにかける
power2_array = power_array[v1_array] *gain

# 閾値その2より大きいかどうかを求める（もともと16.0と書いてあったが、閾値は前段の計算結果によって変わることを強調するため、変更した）
v2_array = power2_array > gain**4

# v1_arrayのTUREのところにv2_arrayの結果をはめ込みたいのに、ここから先が分からない！！

やや複雑ですが、アイディアを頂ければと思います。

Comments

[can110]

例題の結果として、どんな欲しいデータ値が欲しいのか、具体的なデータ例で提示ください。

Answer 1

boolean maskではなくインデックスで取り扱ってうまく頑張るとできるかもしれません。ただし、こういうやり方はオーバーヘッドが多いので、素直にやるより遅い可能性もあります。

>>> import numpy as np
>>> d1 = np.array([1.8, 18.9, 8.1, 10.5, 15.6, 7.2, 18.2, 1.5])
>>> tmp1 = d1 > 10.0
>>> tmp2 = np.where(tmp1)
>>> idx = tmp2[0][d1[tmp1] > 16.0]
>>> result = np.zeros(dtype=np.bool, shape=d1.shape)
>>> result[idx] = True
>>> result
array([False,  True, False, False, False, False,  True, False], dtype=bool)

Comments

[hayataka2049]

can110さんの追記と思いっきり被った……

[pepasuke623]

コメントありがとうございます！！こういう方法もあるんですね！勉強になりますm(_ _)m

Answer 2

単純に元データ全体に対して２つの条件を判定し、その２つの結果をandしたらよいのではないでしょうか？

import numpy as np

d1 = np.array([1.8, 18.9, 8.1, 10.5, 15.6, 7.2, 18.2, 1.5])
b2 = d1 > 10.0 # 条件１
b3 = d1 > 16.0 # 条件２

b5 = b2 & b3
print(b5) # [False  True False False False False  True False]
d5 = d1[b5]
print(d5) # [18.9 18.2]


# numpyのarrayを作成：一時間ごとの機械の稼働状況。行は一時間ごと(6工場ある)、列は機械(2種類ある)の稼働状況を意味する
data_array = np.array([[1.1, 1.2], 
                    [2.1, 2.2], 
                    [3.1, 3.2], 
                    [4.1, 4.2],
                    [5.1, 5.2], 
                    [6.1, 6.2]])
# 各時間帯における電力消費                    
power_array = np.array([3.3 ,9.9 ,2.2 ,8.8 ,1.1 ,7.7])

# 電力消費が基準を超えているか判定する（ここでは閾値を5.0とする）
v1_array = power_array > 5.0

# 閾値を再計算する
# 稼働状況の平均を更に2で割った数を割りかけする
gain = data_array[v1_array ].mean() /2

# 求めた値をもとの電力データにかける
power2_array = power_array *gain # 全体に対して求める

# 閾値その2より大きいかどうかを求める
v2_array = power2_array > 16.0

# 両方を満たす結果
b = v1_array & v2_array
print(b) # [False  True False  True False False]

計算量を減らす方法

条件１を満たした要素のみ条件２を判定する例です。

import numpy as np

d1 = np.array([1.8, 18.9, 8.1, 10.5, 15.6, 7.2, 18.2, 1.5])
i2 = np.where( d1 > 10) # この条件１を満たす要素のインデックス
d3 = d1[i2] * 1.0 # 条件１を満たす要素のみ1.0倍

# d3からいろいろ演算して新しい閾値16を得る

b5 = np.zeros(len(d1), dtype=bool)
b5[i2] = d1[i2] > 16 # 条件１を満たした要素のみ条件２を判定
print(b5) # [False  True False False False False  True False]

例題についても同じ考えでコードを書いてみましたが、最終結果が求めたい結果になっているかは分かりません。

import numpy as np

# numpyのarrayを作成：一時間ごとの機械の稼働状況。行は一時間ごと(6工場ある)、列は機械(2種類ある)の稼働状況を意味する
# →工場は１つで２台の機械＝列があり、６時間分＝行のデータといった例のほうが分かりやすい？
data_array = np.array([[1.1, 1.2], 
                    [2.1, 2.2], 
                    [3.1, 3.2], 
                    [4.1, 4.2],
                    [5.1, 5.2], 
                    [6.1, 6.2]])

# 各時間帯における電力消費
power_array = np.array([3.3 ,9.9 ,2.2 ,8.8 ,1.1 ,7.7])

# 電力消費が基準を超えているか判定する（ここでは閾値を5.0とする）
i1 = np.where( power_array > 5.0)

# 基準値を超える時間帯の「機械の稼働状況」と「電力消費」を出力する
print(data_array[i1])
#[[2.1 2.2]
# [4.1 4.2]
# [6.1 6.2]]
print(power_array[i1]) # [9.9 8.8 7.7]

# 閾値を再計算する
# 稼働状況の平均を更に2で割った数を割りかけする
gain = data_array[i1].mean() /2
print(gain) # 2.075

# 求めた値をもとの電力データにかける
power2_array = power_array.copy()
power2_array[i1] = power_array[i1] *gain # ここでは条件１を満たす要素だけ
print(power2_array) # [ 3.3    20.5425  2.2    18.26    1.1    15.9775]

# 閾値その2より大きいかどうかを求める（もともと16.0と書いてあったが、閾値は前段の計算結果によって変わることを強調するため、変更した）
print(gain**4) # 18.538406640625006
b2 = np.zeros(power_array.shape[0], dtype=bool)
b2[i1] = power2_array[i1] > gain**4
print(b2) # [False  True False False False False]

Comments

[pepasuke623]

早速コメントを頂きありがとうございます！！

この質問のポイントは、"最初に基準を超た電力消費量"を抜き出したあとに再計算して求めた基準値は、"最初に基準を超た電力消費量"にしか影響しないということなんですね。（ややこしいですが・・・）

例えば最初の基準値5.0を超えるのはpower_arrayの2個目と4個目と6個目の計3つのデータなのですが、２回目に基準値の判定する対象となるデータはこの3つのデータなんです。
教えていただいた方法ですと、例えば２回目の閾値が16.0ではなく0.1となったとき(今回の例題では0.1にはなりませんが、仮にそうなったとすると)、出力結果は[true ,true ,true true ,true ,true]となってしまいます。この場合もし1回目の閾値が5.0で２回目の閾値が0.1ならば[false ,true ,false true ,false ,true]と出力させたいのです。
（確かに問題設定が分かりにくいので、例題の文とプログラムを修正しました）

[can110]

> 出力結果は[true ,true ,true true ,true ,true]となってしまいます。
この出力結果とは実際に回答コードで試して最終的に得た結果でしょうか？
ではなく２回目の（単独の）判定結果ではないでしょうか？
回答で伝えたかったことは、条件１は条件２の足切りだということです。
すなわち１回目の判定結果がFalseである要素は２回目のそれがどうであれFalseになります。したがって、結果としては２、４、６番目のみがTrueとなる結果が得られますが、これは正しい結果でしょうか？

[pepasuke623]

ご回答ありがとうございます！いえ、コメント頂いた内容に関しては正しいです。私が勘違いしていました。m(_ _)m

この例題はterateilに投稿するために簡略化していますが、実際はもっと配列の次元が高く、もっと長い経時データです。さらに『電力消費量』にゲインを掛ける部分（「# 求めた値をもとの電力データにかける」の直下の行）は、実際はもっと複雑な処理を行います。なので、なるべく計算を軽くしたいという考えが頭にあったので、条件１で足切して、残ったデータに演算処理をしてから元の配列に戻そうという発想をしていました。

教えていただいた方法を試してみます。ありがとうございます。

[can110]

> なるべく計算を軽くしたいという考えが頭にあったので、条件１で足切して、残ったデータに演算処理をしてから元の配列に戻そうという発想をしていました。

回答に追記しました。
「実現したいこと」の例に対して計算量を減らす例です。
「例題」に関しても基本的に同じ考えで解けるはずです。

[pepasuke623]

おお！boolの配列を先に作って条件を満たすものを当てはめるという方法ですね！色々とありがとうございます。m(_ _)m