Python Numpy 2次元配列で条件合致行のみ抽出

Question

前提・実現したいこと

Numpyで下記のように配列を組んだ際、
各行で数字が3連続以上ならんでる配列を除外するコーディングはどうすればよいでしょうか。

forで該当の行を削除するコードはできていますが、配列が大きくなった際に時間がかかるため、より効率的なコーディングがあればご教示いただきたく存じます。

配列
npArray = np.array(
            [[10, 11, 12, 15, 16],
             [13, 14, 16, 17, 22],
             [12, 14, 18, 21, 22],
             [10, 11, 12, 13, 15],
             [16, 17, 18, 25, 28]])

結果
　[[13, 14, 16, 17, 22],
   [12, 14, 18, 21, 22]]

Comments

[meg_]

「forで該当の行を削除するコードはできていますが」こちらのコードを掲載してください。

Answer 1

だいたいどれくらいのサイズの配列について、
必要な計算時間はどの程度でしょうか。
それによって、この回答で十分かどうかが変わってくるかと思います。

for文の逐次計算ではなく、Numpyの配列計算を利用するとよいかもしれません。
まず、「forで該当の行を削除するコード」と思われるコードを実装してみました。
（そのソースコードは質問者さんのものとほぼ同じものなのでここでは省略します）

次に、Numpyの配列計算を利用した場合、以下のように記述できます。
実は5行のシンプルなコードで実装できます。左隣との差を2回計算して、
1回目に1、2回目に0になるものがあればそこは3連続している行だと判定しています。

diffArray1 = np.diff(inputArray)
diffArray2 = np.diff(diffArray1)
checkArray = (diffArray1[:,:-1] == 1) & (diffArray2 == 0)
okVector = np.sum(checkArray, axis = 1) == 0
okVector.tolist()
outputArray = inputArray[okVector]

テストデータとして、質問でnpArrayとして定義されているものをnpArray = np.tile(npArray, (2000,3000))に大幅に拡大したものを使いました。

その結果、for文を使った逐次は約22.0秒かかりました。Numpyの配列計算は約1.3秒でした。

このテストでは約17倍の速度になりました。

テストケースはこれだけですが、ぜひ質問者さんのお持ちのデータで試してみてください。

以下は考察なのですが、雑談程度に流してください。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
考察です。
・テストケースに関してランダム性がありません（繰り返しの配列）が、このケースではfor文の逐次計算で3連続以上したら次の行に移るようにしたので、むしろfor文に計算しやすいテストケースになります。
・もちろん、配列計算ですので、途中の配列がメモリ確保できないほどの大規模な配列を扱う場合は計算できませんので、メモリ効率はfor文のほうが良いです（一般的にそういうものですが）。まあその場合は入力配列を分割して配列計算するのが良いと思います。