一分あたりのリクエスト数を調整できるようなスクリプトを作成したいです。（負荷テストツールのようなものを自作してみたい）

Question

負荷テストツールというのは世の中に既にたくさん存在してます。

そういうツールをどうやったら作れるのかなと思い、考えております。

rubyかpythonで実装したいと考えている(ひとまずrubyで)ため、
まずは、faradayというライブラリを前提で考えておりました。

今回わからないのは、引数に渡された値によって、
リクエスト数を調整するロジックについてです。

たとえば、
・1分あたり1000回リクエストを投げたい
・1分あたり800回リクエストを投げたい

といった細かな調整をするときに

client = Faraday.new(:url => "http://localhost:4567")
res = client.get(1000) # 1000回の場合

といった風にしたいのです。

faradayに固執していないので、rubyで使えるライブラリで、今回の要件を満たせるものでしたら代替は可能です。

考えていたのは、

1. 1分あたりのリクエスト数を記録する # 仮に1分あたり1500回とする
2. その時間を基準として、今回リクエストを送りたい数で割り算をする # 1000回送りたい場合 2/3して調整する？

この方法だと1分あたり1500回が毎回の結果として同じであれば良いのですが、前後幅が大きいとうまくいかないかなと思いました。

また、仮に1分間に2000回のリクエストを送りたいとなった場合どうするのか等も考えていて、手詰まってしました。

尚、今回やりたいこととしましては、
「1分間に1000人がアクセスする」といったシナリオのテストができるようなプログラムを作ることなため、
単一コネクションではなく、複数コネク‌​ションで処理することが前提でプログラムを実装したいです。

よろしくお願いします。

追記

私の中でまだ、整理がしきれておりませんが、

1分間の内に、指定したリクエスト数(仮に1000回)ができるのでしたらレスポンス時間などはきにしなくてもいいです。

1分間の内に、均等にリクエストを送りたいというわけではありません。
あくまで、指定したリクエストの負荷のテストに耐えられることが目的です。

Answer 1

Rubyのビルトインおよび標準ライブラリにはタイマーがありません。なので、Rubyで一定間隔をおきに何かをするには、

• タイマーを実装したライブラリを使う timers
• タイマーを作る

のどちらかをする必要があります。(PythonにはTimerがあります)

インターバルタイマーを作るのは簡単です。単純にメインスレッドで別スレッド走らせて、インターバル分sleepして、また、別スレッド走らせてとすれば良いだけです。しかし、Rubyはグローバルインタプリタロックという性質上、例えマルチコアでもメインスレッドが時間通りに走ってくれるとは限りません。sleepの前後に大きなタイムラグが発生する場合があるため、遅れの分も考慮してsleepしていく必要があります。

以上を踏まえて、適当に作ったのが下記になります。

require 'net/http'
require 'uri'

def run_interval(interval, count)
  begin_time = Time.now
  ths = []
  count.times do |i|
    ths << Thread.start(i) do |num|
      yield num
    end
    sleep_time = begin_time - Time.now + interval * (i + 1)
    sleep sleep_time if sleep_time > 0
  end
  ths.each(&:join)
end

url = URI.parse('http://localhost:4567/')
count_per_min = 2000
min = 1
results = []

start_time = Time.now
run_interval(60.0 / count_per_min, (min * count_per_min).to_i) do |num|
  req = Net::HTTP::Get.new(url.path)
  start = Time.now
  res = Net::HTTP.start(url.host, url.port) do |http|
    http.request(req)
  end
  duration = Time.now - start
  results << {
    number: num,
    size: res.body && res.body.size,
    code: res.code,
    duration: duration
  }
end
puts "かかった時間: #{Time.now - start_time}秒"

results.group_by { |r| r[:code] }.each do |code, rs|
  duration_list =  rs.map { |r| r[:duration] * 1000 }
  min, max = duration_list.minmax
  avg = duration_list.inject(&:+) / duration_list.size
  st_dev = Math.sqrt(
    duration_list.map { |d| (d - avg)**2 }.inject(&:+) / duration_list.size
  )
  puts "コード: #{code}"
  printf "          回数: %d\n", duration_list.size
  printf "      平均(ms): %0.2f\n", avg
  printf "      最大(ms): %0.2f\n", max
  printf "      最小(ms): %0.2f\n", min
  printf "  標準偏差(ms): %0.2f\n", st_dev
end

run_intervalに間隔(interval)と回数(count)を入れてブロックで実行内容を記載します。ただ、あまりにスレッドが多くなるとリソース不足のThreadErrorになってしまうようですので、そこはもう少し工夫が必要になると思います。

Answer 2

マルチポスト
http://ja.stackoverflow.com/questions/27631/

Answer 3

1 分間に 2000 回のリクエストを送りたいなら、0.03 秒に 1 回のリクエストを送ればいいわけです。これはタイマーを使えばできます。
シングルスレッドでこれをした場合は、特にサーバーの負荷が高まった時など、0.03 秒以内にレスポンスは返ってこないかもしれません。
しかし、リクエスト毎に新しくスレッドを作れば、前回のリクエストがまだ稼働中でも次のリクエストを送ることができます。

Comments

[qaz3330]

ご回答ありがとうございます。

新しくスレッドを作るというのが、faradayでいうと

`client = Faraday.new(:url => "http://localhost:4567")`

ここになるのでしょうか？

リクエスト毎に新しくスレッドを作るという部分が理解出来ておりません。

[Zuishin]

faraday は使ったことが無いのでよくわかりませんが、新しくスレッドを作ったりはしないんじゃないでしょうか？

http://blog.codebook-10000.com/entry/20130804/1375631808

このあたりを読んでいただければと思います。
スレッドを作るというのは、大雑把に言えば、いくつものプログラムを並行して走らせるというイメージでとらえていただければ。