[Julia]行の値の連続出現回数をカウントする方法

Question

実現したいこと

数字を含む行で同じ値が連続で出現した回数を取得する。
下記のaが対象行、bが求めている結果です。
a=[1,2,3,2,2,2,2,4,5,5,5,6,7]
b=[0,0,0,0,1,2,3,0,0,1,2,0,0]

発生している問題・分からないこと

現在は全ての行をループすることでカウントしているのですが元のリストは長いのでaccumulate(max)的な関数で出来る方法を探しています。

該当のソースコード

test = DataFrame(a=[1,2,3,2,2,2,2,4,5,5,5,6,7])
test.b = lag(test.a)
test.check = test.a .== test.b
test.check = replace!(test.check, missing => false)

newList = []
currentV = 0
for ind in 1:length(test.check)
    test[ind, :check] == true ? currentV += 1 : currentV = 0
    push!(newList, currentV)
end

test.conse = newList

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

accumulateやリストに関する関数を見てみたのですが当てはまるものは見つけられませんでした。

補足

宜しくお願いいたします。

Comments

[otn]

Juliaをよく知らないので、回答は出来ませんが、
・もっとシンプルに書きたい
・もっと処理速度を向上させたい
のどちらを重視するのか明確に書いた方が良いと思います。

関数を使ってシンプルに書いた結果、内部的に元の配列と同じくらいのサイズの一時データが作られるとかだと、配列要素数が数百万個レベルだとメモリーを食いすぎて速度に影響あるかも知れません。

[akirayoshimura]

修正点のご指摘ありがとうございます。

Answer 1

accumulate(max)的な関数で出来る方法

using DataFrames
import ShiftedArrays: lag

test = DataFrame(a=[1,2,3,2,2,2,2,4,5,5,5,6,7])

newList = accumulate((acc, i) -> i ? acc+1 : 0,
                     test.a .== lag(test.a, default=test.a[1]-1));
println(newList)

# [0, 0, 0, 0, 1, 2, 3, 0, 0, 1, 2, 0, 0]

追記

$ julia
help?> zip
search: zip

  zip(iters...)

  Run multiple iterators at the same time, until any of them is exhausted. 
The value type of the zip iterator is a tuple of values of its subiterators.

zip()(イテレータ)を利用する方が3倍程度速く、メモリ使用量も少ないです。

using DataFrames
import ShiftedArrays: lag
using BenchmarkTools

test = DataFrame(a=[1,2,3,2,2,2,2,4,5,5,5,6,7])

@btime accumulate((acc, i) -> i ? acc+1 : 0,
                  test.a .== lag(test.a, default=test.a[1]-1))
@btime accumulate((acc, (i, j)) -> i==j ? acc+1 : 0,
                  zip(test.a, lag(test.a, default=0));
                  init=test.a[1]-1)

# 3.859 μs (22 allocations: 1.59 KiB)
# 1.304 μs (8 allocations: 416 bytes)

Comments

[akirayoshimura]

milianさん回答いただきありがとうございます！
速度に関しての情報までいただけて大変勉強になりました。