コピー時の帯域について

Question

離れた拠点にサーバがおいてあり、クライアントにファイルをコピーしたい場合についてです。

回答者の経験と感覚で結構です。

ファイルが20Gぐらいの大きい場合、業務中に普通にコピーすると帯域的にマズイような気がするのですが、データセンターからイントラネットの帯域は普通どの位設けていて、どのくらいのファイルであればコピーしてもよいものなのでしょうか。

また、制限しながらのコピーだとwindowsではrobocopyコマンドなどで、少しずつコピーする方法ができそうですが、通常どういった対応をするものでしょうか。

Answer 1

「通常」というものがそもそも自体存在しえません。

WAN側の帯域は契約によって環境が異なりますし、使い方によってトラフィックも様々です。

以下追記　2017.10.01 19:20
高評価を頂いてはおりましたが、投げやりな回答なのでもう少し補足します。「業務中に」とあるので、それは「上司に断りを入れるとか、担当部署に質問する」というアプローチが適切かと思います。少なくともTeratailで質問するようなこととは考えにくいです。

Answer 2

ツール使ってネットワーク帯域監視をしてみてはどうでしょうか？
「マズイような気がする」という感覚で評価するよりも具体的な数字で判断した方がいいと思います。

もしかしたら20Gのファイル転送くらいでは大した影響はないかもしれませんし、反対に転送する時間帯や分割を考えないといけない程影響があるかもしれません。でもそれは計測しないとわからないと思います。

Answer 3

問題が起きるか起きないかは使用している設備によるので、
もし、問題が起きたなら転送速度を調整すればいいかと思います。

参考
https://qiita.com/koara-local/items/777f2a182788a7310fcd

Answer 4

日中の業務時間中に、遠隔地のDCにあるサーバーに対して、20GBほどの仮想イメージをWindowsファイル共有でコピーしたり、0.5～2GBぐらいの動画を20個ほど計17GBほどをSFTPでコピーしたり、2～3GBほどのISOファイル4つをWebのファイル共有に一度にアップロードしたりした事がありますが、インターネットが遅くなる、DCにあるサーバーのWeb閲覧が遅くなる、他部署から苦情が出る、等と言ったことは起きたことがありません。むしろ、それぐらいの転送で苦情が出るぐらい貧弱な回線である方が問題と考えています。

事務所とDCの間の回線について詳しくは書けないのですが、ほぼ1Gpbs(ベストエフォートの1Gbpsということではなく、専用線1Gbpsに近い構成です)です。インターネット接続も同じ回線を使用しています。たかだか1台のクライアントからの通信が1Gpbsを全て占有すると言うことはほとんどない(クライアントが遅い)ため、特に問題視していません。

ただ、クライアントの性能アップで問題が出るようになれば、QoSの設定や回線増強を考えています。10Gbpsの装置や回線が安くなったとはいえ、回線費用アップと上位ルーター類の買い換えがどれだけかかるのかが今のところの悩みです。

Answer 5

一般的に、20GB程度のサイズを頻繁にやりとりするのは難しいです。国外ならほぼ現実的じゃないです。

拠点間のファイル転送ですが、利用可能な帯域を知るために、まずpingコマンドなどで遅延を測定してください。
TCP通信の速度上限は遅延により変動します。詳しい説明や高速化手法は省略しますが、一般的には次のとおりです。

遅延(ms)	速度上限(Mbps)
1ms	512
10ms	51.2
100ms	5.12

次に、利用する回線を決めます。以下の候補があります。

1. 一般的なブロードバンド回線（インターネットVPNでサーバとクライアントを接続）
2. 広域イーサネット（IP-VPNでサーバとクライアントを接続）
3. 専用線

20GB程度のファイルを頻繁にやりとりする場合、選択肢1はアップロード制限があるのでダメです。
選択肢2と選択肢3は予算と相談してください...

業務中に転送した場合の影響ですが、サイズが大きいと長時間に渡り影響が出ますので、帯域制御や優先制御の技術を用いるべきです。転送手段は詳しくありませんが、まともな回線が使える場合は（TCPを使った）どのような転送手段でも問題ない気がします。

Comments

[退会済みユーザー]

遅延と速度上限の表に違和感があるのですが、どういった根拠でしょうか？

[退会済みユーザー]

根拠は、TCPが "受信側はウィンドウサイズ分の転送毎にACKを返し、送信側はACKを受信してから次のパケットを送る" という手順で通信を行うことです。
従って、以下の式で速度の上限が求まるはずです。（TCPより下のレイヤの速度は無限とします）

スループット (bps) = TCPウィンドウサイズ (KB) * 8 / RTT (秒)

もともとのTCP規格ではウィンドウサイズは最大64KBで、その場合は表の通りになるはずです。
最近はOSがウィンドウサイズを大きく設定していると思うので、もっと速いかも...
専門家ではないので、間違い等ありましたらご指摘ください。
ご参考: http://gihyo.jp/admin/serial/01/net_prac_tech/0002

[退会済みユーザー]

リンク先読んでみます。
ありがとうございます。

Answer 6

そのぐらいの大きさのデータなら、何らかの外部メディアを使用して移送します。
サーバの管理者に相談することで、適切な回答をもらえると思うので確認してみてください。

Comments

[infra29]

回答ありがとうございます。
頼りないのですが当方が管理者です。サーバがデータセンターにあり拠点が離れているので、同じような事はどの現場でもあるのではないかと思いました。
可能な限り業務時間を外したりしているのですが、根拠がないので一般的な方法や考え方を知りたいのです。

[退会済みユーザー]

データセンターによっては、手順書のある作業を代行するサービスを提供している場合があります。契約当時から要件がはっきりしていれば、そのような作業を依頼できるデータセンターと契約するのが一般的です。

もしくは、低価格回線をデータ転送専用に契約すると行ったケースも有効だと思います。