実行速度を計測したい

Question

前回の質問のそれぞれの回答の実行速度を調べてみようと思いました。
実行速度の計測方法を調べると下記のようなやり方を見つけて、上記回答を当てはめてみたのですが、これで適切な速度の比較ができているのでしょうか？

require 'benchmark'
include Benchmark

Benchmark.bm 10 do |r|
    array = [0,1,2]
    r.report "test1" do
        array = (array + [0] * 5)[0...5]
    end
    r.report "test2" do
        array = array.push(*Array.new(5,0)).shift(5)
    end
    r.report "test2_1" do
        array = array.push(*Array.new(5,0)).take(5)
    end
    r.report "test3" do
        array = array.concat([0]*(5-array.length))
    end
    r.report "test3_1" do
        array = array.concat(Array.new(5-array.length, 0))
    end
end

https://paiza.io/projects/wJ-GYnNGTrzmL1UJ98F0yQ

Answer 1

速度は測れません。時間が計れます。

このコードだと2つ目以降ではすでにarrayのサイズが5になっているので、計りたいものと違うものを計っています。
毎回arrayを初期化しましょう。

ただ、この程度の処理だと1回ずつの実行だと誤差の影響が大きそうなので、
・それぞれの処理を繰り返し実行する
・配列サイズを大きくする(arrayのサイズや、5)
などをした方が良いでしょう。

require 'benchmark'
include Benchmark

N=1000
A=3
B=5

Benchmark.bm 10 do |r|
    r.report "test1" do
        N.times { array = A.times.to_a; array = (array + [0] * B)[0...B] }
    end
    r.report "test2" do
        N.times { array = A.times.to_a; array = array.push(*Array.new(B,0)).shift(B) }
    end
    r.report "test2_1" do
        N.times { array = A.times.to_a; array = array.push(*Array.new(B,0)).take(B) }
    end
    r.report "test3" do
        N.times { array = A.times.to_a; array = array.concat([0]*(B-array.length)) }
    end
    r.report "test3_1" do
        N.times { array = A.times.to_a; array = array.concat(Array.new(B-array.length, 0)) }
    end
end

#追記：
すいません。ぼけてました。N.timesを追加した時点でarrayの初期化を移動させないといけなかった。
コードを修正しました。

Comments

[no1knows]

ありがとうございます！
この質問には関係ないですが、変数の扱い方なども美しいですね。
このようなプログラムが書けるように気にしながら進めていきたいと思います。

[otn]

後からなんですが、
繰り返し実行すると、GC（ガベージコレクション）の影響が出そうですので、
それぞれの測定前(r.reportの直前)にGC.startを入れた方が良いと思います。

[no1knows]

修正ありがとうございます。
下記実行結果のGC.startで比べたほうが適切ということでしょうか？
https://paiza.io/projects/ulo9mqIw9ZKoEm8kXaAaDA?language=ruby

またtest3とtest3_1で比べると順序が逆になったりすることがあるのですが、これは実行タイミングなどによって必ずしも結果が同じにはならないと考えたほうが良いのでしょうか？

[otn]

> GC.startで比べたほうが
そうですね。

> 順序が逆になったり
そうですね。毎回の誤差がけっこうあると思います。何に由来するのかはよく分かりません。
realの数字は実時間なので、他のプロセスによる影響を受けるのは明かですが。

何度かやってみましたが、手元の環境(Linux)だと先頭のもののsystemが長くなる傾向がありますので、そういう傾向があれば、
1
2
2_1
3
3_1
1
2
2_1
3
3_1
と2回ずつ実行してみて、2回目を見ると良いかと思います。
なんとなく、GC.startがガベージコレクションを起動するだけで、完了を待たないのが原因かなと言う気がします。

[no1knows]

> systemが長くなる傾向がありますので、そういう傾向があれば・・・
という説明からsystemなどの言葉の定義をきちんと確認してやっと理解ができました。
ありがとうございます！

ーーーー以下、自分用メモーーーー

real = 単純に、起動から終了までにかかった時間 = CPU時間 + それ以外の時間（ディスクを読んでいる時間など）
CPU時間 = プログラムの実行でCPUを使った時間
user = ユーザーCPU時間 = プログラムがCPUを使った時間 = プログラム自身の処理時間
sys = システムCPU時間 = プログラム以外（OS）がCPUを使った時間 = プログラムに伴ってOSが仕事をした時間

参考：https://www.softel.co.jp/blogs/tech/archives/2354