大容量動画ファイルPOST時のパフォーマンス改善の方法を知りたい

Question

初めて質問をします。

現在phpにて大容量のファイルアップロードと、アップロードしたファイルのgoogle driveへの連携機能を作成しています。

アップロードするファイルのサイズは最大700MBを想定しています。
このとき、クライアントからデータをPOSTする際にかなり時間を要してしまうのでこれを高速化したく思っております。

現在以下のように普通にユーザー指定のファイルをPOSTするようにしていますがこれを高速化する方法ありますでしょうか？
リクエストヘッダーを見る限りgzipが指定されていますが、contens-lengthを見る限りサイズはあまり変わっていないように見えます。

					<form action="./index.php" method="post" id="form-index" enctype="multipart/form-data">
						<div class="form-group">
							<label class="control-label">動画ファイル
								<span class="badge badge-danger">必須</span>
							</label>
							<div class="col-auto">
								<div class="form-row">
									<div class="form-check">
										<input class="form-control movie_file" type="file" name="movie_file">
										<div class="invalid-feedback"></div>
									</div>
								</div>
							</div>
						</div>
					</form>

Comments

[hentaiman]

漠然と何か方法はないかという事なら何も対策はありません
原因次第では改善方法はあります
何が原因だとお考えでしょうか？

[m.ts10806]

テキストファイルでない限りはzipにしたところでサイズは変わりません。

[makeneko_1988]

henaimanさん

ご質問ありがとうございます。
動画のファイルサイズが大きいのが一番の原因だと考えております。
このような大容量のファイルを扱う場合のお作法的なものなどを知りたいです。
次点では通信環境やPOST先のサーバーのスペックなども関係はあるのかと考えております。
gzipのようなクライアント側で情報を圧縮などしてパフォーマンスが向上できないか？と考えております。

[makeneko_1988]

m.ts10806

ご返信ありがとうございます。
gzipはテキストだけなんですね。
無知でした。ご指摘ありがとうございます。

[m.ts10806]

>gzipはテキストだけなんですね。
もしかしたらこちらの書き方が悪かったかもしれませんが、画像やファイルなどは既に圧縮されてるので、圧縮されないという意味です。

[hiok]

私もやったことはなく、少し気になったので調べたのですが、php post 分割　とかでググったらそれらしき情報はあるようです。試されました？

[makeneko_1988]

hiokさん

ご質問ありがとうございます。
試してはいないのですが、ネットワークを通る情報自体は変わらず、分割するコストと、
php側で分割した情報を再結合するコストを鑑みると変わらないか遅くなると考え一旦除外しています。
一度にpost可能なファイルサイズに制限があったり、同時に複数の大容量のリクエストを捌くような場合に、並行処理するのに向いているのかなと思いました。
こちらでの皆さんのご意見参考にしつつ試そうと思います。

[hentaiman]

という事はつまり回線が弱いという事が原因ですね？
そうなると対策はありません
自身でも理解されている通り分割したところで回線速度が上がる訳ではないので無駄です

[makeneko_1988]

hentaimanさん
度々のコメントありがとうございます。
回線が弱いということを前提として、ブラウザ側でそれを補う手段があるかということを探しておりました。
私が知らないだけで、経験者的にはお決まりのテクニックがあると思い質問させていただきましたが、みなさまから回答をいただき私の結論に不足はなかったと判断しました。
ありがとうございます。

[m.ts10806]

言語やフレームワークも万能ではないです。かかるものはかかる。
それを見せ方で（言い方は悪いが）誤魔化してる点も少なからずあります。
ローディングやスケルトンスクリーンなども誤魔化しスキルのうちですね。負荷が軽くなったわけではなく、ユーザー感覚を和らげるためのもの。

Answer 1

一般的な動画や画像ファイルは最初から圧縮されているので転送時に
ファイルを効率化することは難しいでしょう
ネット回線およびサーバー側の処理能力の問題なので
クライアント側でできることはほぼありません
例えば分割して並行してアップロードするとしても回線がボトルネック
になればアップロード時間は理論的にはさほど変わらないはずです

分割してfetch

//send.html

<script>
window.addEventListener('DOMContentLoaded', ()=>{
  document.querySelector('#btn').addEventListener('click',e=>{
    e.preventDefault();
    const file=document.querySelector('#file');
    const url=file.form.getAttribute("action");
    const content = file.files[0];
    const blob=new Blob([content],{type:file.type});
    const fr = new FileReader();
    const sep_num=8;//好きなだけ分割してください
    const fd=new FormData();
    fr.addEventListener('load',e=>{
      let src=e.target.result;
      src=new Uint8Array(src);
      src=String.fromCharCode.apply("",src);
      const sep_size=parseInt(src.length/sep_num)+1;
      new Array(sep_num).fill(null).forEach((_,x)=>{
        const sep_file=src.substr(x*sep_size,sep_size);
        const buffer = new Uint8Array(sep_file.length).map((_,x)=>sep_file.charCodeAt(x));
        const blob2 = new Blob([buffer.buffer], {type: content.type});
        fd.append(file.getAttribute('name')+"[]",blob2,content.name);
      });
      fetch(url,{method:"post",body:fd}).then(res=>res.blob()).then(console.log);
    });
    fr.readAsArrayBuffer(blob);
  });
});
</script>
<form action="recv.php" method="post" enctype="multipart/form-data">
<input type="file" id="file" name="myfile">
<input type="button" value="fetch" id="btn">
<input type="submit" value="send">
</form>

// recv.php

<?PHP
if(count($_FILES)==0 or !isset($_FILES["myfile"])){
  print "no data";
}elseif(count($_FILES["myfile"]["tmp_name"])==1){
  header("Content-Type:".$_FILES["myfile"]["type"]);
  readfile($_FILES["myfile"]["tmp_name"]);
  exit;
}else{
  header("Content-Type:".$_FILES["myfile"]["type"][0]);
  foreach($_FILES["myfile"]["tmp_name"] as $val){
    readfile($val);
  }
  exit;
}

Comments

[makeneko_1988]

ご回答ありがとうございます。
やはり端末スペックに依存するので難しいですよね。
分割は他の方のご質問にも回答していますが、同じ認識です。
今は私一人がデータ送信をして検証していますが、これが一般ユーザが同時に処理命令を出した場合などに分割や役立つのかなとは思っています。

[yambejp]

参考までに分割アップロードの仕方を追記しておきました。
受け側で合体させる必要がありますので受け側の処理も書いてあります

[makeneko_1988]

参考URLまでありがとうございます。
サーバーを共有サーバーから専用サーバーのにして、回線を強くして検証進める予定ですが、
その中で不可分散の必要性が出てきましたら参考にさせていただきます。

[hentaiman]

帯域制限されているかどうか分からない共用サーバー使ってる今の時点こそパラレルアップロードを試すタイミングだと思いますが
専用サーバーにした時点で帯域制限をするのはサーバーの所有者に限られるので、速度面を気にしてパラレルを試す意味がありません

Answer 2

同期で送信してるなら非同期とか。
負荷は変わりませんが、ユーザ側への「いまサーバが頑張ってるな」感は与えにくくなると思います。

Comments

[makeneko_1988]

ご回答ありがとうございます。
現状は同期で送っています。非同期でも負荷が変わらないとのことですが、参考にさせていただきます。

[m.ts10806]

払拭したい懸念事項は何かという点です。
ファイルが圧縮できない以上、またネットワーク環境やマシンスペックはユーザーに依存する以上、システム側で出来るのは「頑張ってる感」を見せないことかなと。
「ちゃんと動いてる感」を演出するためにローディングバーを出したりしますが、考え方は同じです。
（ただ、非同期でも送信途中に接続切ったりブラウザ閉じたりすると動作保証はできないと思います）

[makeneko_1988]

>「ちゃんと動いてる感」を演出するためにローディングバー
こちらはすでに実施しており、ちゃんと動いてる感は出せているのですが、
そもそもとしてファイルサイズが大きすぎるのと、共用のレンタルサーバーなのでスペックの部分の問題もあり、15分程度アップロードに時間がかかってしまっています。
この時間を短縮する方法を模索している状況です。

[m.ts10806]

動機ならローディングも見た目止まってるように思います（どんな実装か知らないけれど）
先にも指摘されてる通り、システム側で出来ることはありません。どこに同じ負荷をもたせるかという点だけ。
非同期にすればユーザが待機する必要がなくなるだけです。

共有サーバーでの迷惑を懸念されるのでしたらスペックも容量も大きい専用サーバに移るのが最良です。

[makeneko_1988]

度々コメントありがとうございます。
やはりできないということで、サーバ強化する方向で進めたいと思います。

>動機ならローディングも見た目止まってるように思います
すみません。進捗ゲージということであれば、それは出していないです。
グルグル回るローディングのgifをpost処理が終わるまでユーザーには出しています。

無知であったらすみません。
>非同期にすればユーザが待機する必要がなくなるだけ
ajaxなどの非同期通信でも、サーバーに対してpostを行うので、そのpostが完全に送られるまでは待機が必要だと思っていますが、認識あっていますよね？

[m.ts10806]

あぁgifなら勝手に動いてますね。cssアニメーションかと思ってました

[m.ts10806]

>サーバーに対してpostを行うので、

はい。ご認識のとおりです。
検証は必要と思います。
すぐ切断してもバックグラウンドで処理は継続されるのかとか

[makeneko_1988]

コメントありがとうございます。
やはりそうですよね。参考にさせていただきます。

Answer 3

みなさま、ご指導ご鞭撻ありがとうございました。
大容量のファイルのアップロードを行ったことがなく、私が知らないだけで有識者の方が私が調べ切れていない方法で速度改善の方法があると思い質問させていただきました。

やはりサーバ側が強くなければならないということで、共用サーバから専用VPNに切り替えるなどして改善されるか検証していきたいと思います。