Rのfor文の高速化

Question

Rに関する質問です。
実行したい内容は"Weightという名称の列について、①Monthが上の行と等しく、かつ、②NAの場合に上の行と同じ数値にする"というものです。
データの列や行がさらに膨大となった場合に、かなり時間がかかってしまい困っております。
これを高速化する方法はあるでしょうか。

month_list <- c(1,2,3,4,5,1,1,1,4,5)
weight <- c(51,55,72,57,64,NA,72,NA,57,64)
Data <- data.frame(Month=month_list, Weight=weight)
for(i in 2:ncol(Data)){
for(j in 2:nrow(Data)){
if ((Data[j,"Month"] == Data[j-1,"Month"]) && (is.na(Data[j,i]))) {
Data[j,i] <- Data[j-1,i]
}
}
}

Answer 1

for(j in 2:nrow(Data)){
    if (Data[j,"Month"] == Data[j-1,"Month"]){
        for(i in 2:ncol(Data)){
            if(is.na(Data[j,i])) {
                Data[j,i] <- Data[j-1,i]
            }
        }
    }
}

とか

Answer 2

4/15 23:10追記。以下は、要件を満たしていませんでした。何かの参考にはなるかもしれませんのでこのまま晒しておきます。

こういうときは中間データを格納する一時的な列を利用するとわかりやすく、ベリファイやデバッグが楽です。流れがわかりやすいと無駄を省いて高速化するのも容易になります。

というわけで、中間データを利用することによってforを使わないで処理するバージョンを試作してみました。これらを関数とし、プロファイラで実行時間をチェックします。

month_list <- c(1,2,3,4,5,1,1,1,4,5)
weight <- c(51,55,72,57,64,NA,72,NA,57,64)

# データを重複させて大きなデータセットを作る
repcnt <- 1000
month_list <- rep(month_list, repcnt)
weight     <- rep(weight,     repcnt)

# テスト用データ最終型
d0 <- data.frame(m=month_list, w=weight)

# オリジナルの処理を関数化
f1 <- function(d){
  for(i in 2:ncol(d)){
    for(j in 2:nrow(d)){
      if ((d[j,"m"] == d[j-1,"m"]) && (is.na(d[j,i]))) {
        d[j,i] <- d[j-1,i]
      }
    }
  }
  return(d)
}

# 同じことをforを使わずにやってみる
f2 <- function(d){
# 作業用に一時的に列を追加
  d$m2 <- c(NA, month_list[1:length(month_list)-1])
  d$w2 <- c(NA,     weight[1:length(month_list)-1])

# 一気にデータ書き換え
  d[d$m==d$m2 & is.na(d$w), "w"] <- d[d$m==d$m2 & is.na(d$w), "w2"]

# 作業用の列を削除
  d$m2 <- NULL
  d$w2 <- NULL

  return(d)  
}

# プロファイラを使い、関数単位で実行時間の計測と比較を実行
Rprof(tmp<-tempfile(), interval=0.01)
d1 <- f1(d0)
d2 <- f2(d0)
Rprof(NULL)
summaryRprof(tmp)

結果をざっと見ると以下のとおりで、私の環境では所要時間が0.43秒→0.01秒に改善されました。

テストスクリプトのrepcntを色々変えてみると、オリジナル版ではデータが大きくなればなるほど所要時間が増えるのに対し、改良版ではほとんど左右されないことがわかります。

$ R -q --vanilla < test.r | egrep  '"f[12]"|total.time'                                                                                                                            

                        self.time self.pct total.time total.pct
"f1"                         0.01     2.27       0.43     97.73
                        total.time total.pct self.time self.pct
"f1"                          0.43     97.73      0.01     2.27
"f2"                          0.01      2.27      0.00     0.00

Comments

[kakii]

早速のご回答をありがとうございます。
私の例が悪く申し訳ないのですが下記のような場合ですと、d1とd2の結果が異なってくると思います。d1のような結果にしたいと思っておりますが、可能でしょうか？
month_list <- c(1,2,3,4,5,1,1,1,1,5)
weight <- c(51,55,72,57,64,NA,72,NA,NA,64)

[KojiDoi]

すみません、NAが連続する場合のことは完全に抜けていました。確かにforループを回して上の行から値を補完していく必要があります。forをapply系に書き換えるなどの方法はあるかもしれませんが、劇的に改善するというわけにはいかないかもしれません。
ちょっと使い物にならない回答でしたね。申し訳ありません。

[KojiDoi]

もしかすると、library(zoo)のna.locf()が使えるかもしれません。

[欠損値の処理](https://www.cyberer.net/2020/03/r-package-zoo.html#toc_headline_12)
> ティックデータの場合は NA の箇所は値が変化していないことを意味しています。したがって、直近の値で補間するのが妥当です。このような場合は na.locf() を用います。locf は last observation carried forward のことで、最後の観測値を前へ持ち越す、という意味です。

[kakii]

na.locfも含めていろいろと考えましたが、
私が実際に使用するデータではNAが連続して生じる回数が10回程度であったため、
2021/04/15 19:44に当初いただいたプログラムを何回か繰り返す方法にすることといたしました。
これによって、連続したNAが徐々に少なくなっていくイメージです。
（1回で連続するNAをすべて補完することがベストではあったのですが、思いつかなかったため）

ご協力を大変ありがとうございました。