[julia]前後の行を参照するループをfindall等に置き換える方法

Question

juliaで条件に合うデータフレームの列番号を探す際に下記のコードを記載しますが実際に大きなデータベースでループ作業をすると驚くほど遅いためfindallなどのループ以外の方法に変更したいと思っています。
ですが過去の値を参照する方法が分からず実装できません。
方法をお教えいただけますでしょうか。

using Indicators

data_frame = DataFrame(
    B = rand(8), 
    C = rand(["A", "B"], 8)
)

list_holder = []
for i in eachrow(data_frame)
    row_n = rownumber(i)
    if row_n > 3 && data_frame[row_n-1, :C] == "A"
        if i.B > 0.5 && sma(data_frame[row_n-2:row_n, :B], n=2)[2] > 0.3
            push!(list_holder, row_n)
        end
    elseif row_n > 3 && data_frame[row_n-1, :C] == "B"
        if i.B > 0.3 && sma(data_frame[row_n-2:row_n, :B], n=2)[2] > 0.1
            push!(list_holder, row_n)
        end
    end
end

Answer 1

data_frame[!, :C_1] = circshift(data_frame[!, :C], 1);
data_frame[1, :C_1] = "";
data_frame[!, :B_1] = circshift(data_frame[!, :B], 1);
data_frame[1, :B_1] = NaN;
data_frame[!, :B_2] = circshift(data_frame[!, :B], 2);
data_frame[1:2, :B_2] .= NaN;
data_frame[!, :SMA] = (data_frame[!, :B_2] + data_frame[!, :B_1]) .* 0.5;

function my_cond(b, c1, sma)
    ifelse.(c1 .== "A",
            b .> 0.5 .&& sma .> 0.3,
            ifelse.(c1 .== "B",
                    b .> 0.3 .&& sma .> 0.1,
                    false))
end

df_filt_view = filter([:B, :C_1, :SMA] => my_cond, data_frame)

Comments

[akirayoshimura]

ujimushi_sradjpさん回答いただきありがとうございます。
まだ全部検証できていませんが、circshift関数など知らないことも多く大変勉強になりました。
ありがとうございます。

Answer 2

Pandas の rolling window function の様なモノ。

n = 3 # window size

macro sma_val(idx)
  :(sma(data_frame[$(esc(idx)), :B], n=n-1)[n-1])
end

function func(idx)
  dfi = @view data_frame[idx, :]
  ifelse(dfi[2, :C] == "A",
         dfi[3, :B] > 0.5 && (@sma_val(idx)) > 0.3 && last(idx),
         dfi[3, :B] > 0.3 && (@sma_val(idx)) > 0.1 && last(idx))
end

list_folder = filter(x -> !iszero(x), [func(i:i+n-1) for i=1:nrow(data_frame)-n+1])
println(list_folder)

Comments

[akirayoshimura]

回答いただきありがとうございます。
目的としていた事が実行できた上に、大変勉強にもなりました。
数点どうしてもわからなかったことがありましたのでお教えいただけますでしょうか？

1) x -> !iszero(x)は[func(i:i+n-1)...のリストからfalseをfilterするためと捉えて間違えありませんか？
2) last(idx)はfunc関数で確認した列番号をtrueの代わりに記載するためだと思われるのですが、なぜこのような挙動になるのでしょうか？
3)$(esc(idx))はfunc関数とsma_valマクロで同じfunc関数引数に記載されたidxを参照するために記載されているのでしょうか？

[melian]

1 に関してはその通りです。2 について、idx には元のデータフレームのインデックスが入っています。例えば、1:3 という様な UnitRange 型のインスタンスで、last(UnitRange) は最後のインデックス(この場合は 3)を返します。つまり、質問にあるコードの row_n に対応しています。3 はその通りです。$(esc(...)) とすることで変数を展開してくれます。