[Julia] DFの新列作成時に条件に合った場合のみ値を入力する方法

Question

下記の様な二つのデータフレームがあり、data_frameに新しい列Dを作成しようと思っています。
列Dはdata_frameとmatchの列A, Bのが一緒の時にmatchの列Cの値、一致しない場合はXを記入したいのですがそれぞれの列をeachrowで回す処理をしていたのですが、速度が遅い為それ以外の実行速度が速い方法をお教えいただけますでしょうか？
(実際のユースケースではdata_frameが100万行、matchが4000行のデータフレームですので、一件一件の速度を重要視しています。)

data_frame = DataFrame(
    A = [1, 1, 1, 1, 2, 2, 2, 2],
    B = [0, 1, 1, 0, 0, 0, 0, 1], 
    C = rand(8)
)

match = DataFrame(
    A = [1, 2, 1, 1, 1, 2, 1, 2],
    B = [1, 1, 1, 0, 0, 1, 0, 1], 
    C = ["A", "B", "C", "D", "A", "B", "C", "D"]
)

最終的な完成形は下記の様にしたいです。

Answer 1

※ Benchmark

using DataFrames
using BenchmarkTools

function replace_by_ifelse(dfA, dfB)
    dfA.D = ifelse.((dfA.A .== dfB.A) .& (dfA.B .== dfB.B), dfB.C, "X")
    return dfA
end

function replace_by_transform(dfA, dfB)
    transform!(hcat(dfA, dfB, makeunique=true), [:A, :B, :A_1, :B_1, :C_1]
              => ByRow((a1, b1, a2, b2, c) -> (a1 == a2) & (b1 == b2) ? c : "X")
              => :D)[!, append!(names(dfA), ["D"])]
end

data_frame = DataFrame(
    A = [1, 1, 1, 1, 2, 2, 2, 2],
    B = [0, 1, 1, 0, 0, 0, 0, 1], 
    C = rand(8)
)

match_frame = DataFrame(
    A = [1, 2, 1, 1, 1, 2, 1, 2],
    B = [1, 1, 1, 0, 0, 1, 0, 1], 
    C = ["A", "B", "C", "D", "A", "B", "C", "D"]
)

@btime replace_by_ifelse(data_frame, match_frame)
# => 1.788 μs (10 allocations: 480 bytes)

data_frame = DataFrame(
    A = [1, 1, 1, 1, 2, 2, 2, 2],
    B = [0, 1, 1, 0, 0, 0, 0, 1], 
    C = rand(8)
)

@btime replace_by_transform(data_frame, match_frame)
# => 119.151 μs (496 allocations: 36.24 KiB)

Comments

[akirayoshimura]

melianさん回答いただきありがとうございます。
速度まで書いていただき大変助かりました。

Answer 2

eachrowを使った方が動作が速いと思いますが，ソースの行数を減らすことを優先すると次のような感じでしょうか?
df[boolのVector, :列名] でtrueのところの要素を選択できるので，それを使います。
Vector型の要素毎の比較で.のブロードキャスト演算子を濫用しています。
2つのデータフレームの行数チェックを省略しています。

なお，df[!, :列名]とdf.列名は同じ意味で，列名のVector型が返ってきます。
また，df[k, :列名]とdf.列名[k]も同じ意味です。
matchの名前は標準関数にあるので，先頭にアンダーバーをつけています。

using DataFrames

data_frame = DataFrame(
    A = [1, 1, 1, 1, 2, 2, 2, 2],
    B = [0, 1, 1, 0, 0, 0, 0, 1], 
    C = rand(8)
)

_match = DataFrame(
    A = [1, 2, 1, 1, 1, 2, 1, 2],
    B = [1, 1, 1, 0, 0, 1, 0, 1], 
    C = ["A", "B", "C", "D", "A", "B", "C", "D"]
)

function add_D!(df::AbstractDataFrame, df_cmp::AbstractDataFrame)
    df[!, :D] = Vector{String}(undef, nrow(df))
    is_match = df[!, :A] .== df_cmp[!, :A] .&& df[!, :B] .== df_cmp[!, :B]
    df[is_match, :D] = df_cmp[is_match, :C]
    df[.!is_match, :D] .= "X"
end

結果

julia> include("test.jl")
add_D! (generic function with 1 method)

julia> add_D!(data_frame, _match)
5-element view(::Vector{String}, [1, 2, 5, 6, 7]) with eltype String:
 "X"
 "X"
 "X"
 "X"
 "X"

julia> data_frame
8×4 DataFrame
 Row │ A      B      C          D      
     │ Int64  Int64  Float64    String 
─────┼─────────────────────────────────
   1 │     1      0  0.356792   X
   2 │     1      1  0.0732795  X
   3 │     1      1  0.263522   C
   4 │     1      0  0.964729   D
   5 │     2      0  0.325033   X
   6 │     2      0  0.0382429  X
   7 │     2      0  0.374391   X
   8 │     2      1  0.566343   D

Comments

[akirayoshimura]

ujimushi_sradjpさん回答いただきありがとうございます。
なるほど、このように記載できるのですね。

ちなみにtransformで記載する方法はありませんでしょうか？
実際に使用するデータベースはdata_frameの受け手側が100万行以上、matchの送り手側が3000行ありeachrowだとかなりの時間がかかっていました。
以前からtransformが早いイメージがありましたので、eachrowより効率的な方法がありましたらお教えいただけると大変助かります。