大容量ファイルアップロード時のメモリ使用について

EC2＋Laravel（PHP）で、大容量ファイル（1G程度）をユーザーがPOSTでアップロードするプログラムを書いています。
EC2のメモリは１Gです。

メモリとアップロードの関係がよくわからないのですが、以下の解釈のどちらが正しいのでしょうか？

####（解釈１）
「１GBのファイルは一旦メモリに載せられるため、複数人が同時にアップロードすると、メモリが足りなくなり、システムが不安定になる。」

####（解釈２）
「１GBのファイルをアップロードしても、PHP側で適切にメモリを処理するため、複数人が同時にアップロードしても、そう簡単にはメモリ不足になることはない。」

　
実際、700MBのファイルをアップロード中に、SSHで、free -m を使ってメモリの推移を見たのですが、

このように、【Mem:】のところは、どんどん「used」が増えて「free」が減っていくのですが、
【-/+ buffers/cache:】の「free」のところは、810MB付近であまり変化しませんでした。

これは（解釈２）が正しいということになるのでしょうか？

それとも、別の解釈として、今回はアップロードのフロント側に、『Dropzonejs』というAjax型のJSを使用しているため、

####（解釈３）
「本来、解釈１が正しいが、この実験では、Dropzonejsを使用してAjaxで非同期処理がなされているため、解釈２のように、メモリがそれほど使用されないようになっている。」

という解釈３が正しいのでしょうか？

どうぞよろしくお願い致します。

行動規範の内容に同意します

回答2件

解釈1が正しいです。PHPでアップロードを処理する場合、いったんPHPがPOSTデータを処理してファイルに書き出す必要がありますので、対応した分だけのメモリが必要になります。

もちろん、S3のアップロードパスを取得して、ブラウザからS3に直接アップロードするような仕組みを作った場合は、PHPは無関係となります。

投稿2019/08/16 00:51

maisumakun

総合スコア146530

uemon

2019/08/16 01:09 編集

回答ありがとうございます。「PHPがPOSTデータを処理してファイルに書き出す必要がある」とのことですが、ファイルに書き出しが終わると、メモリは解放されると思ってよいのでしょうか？すなわち、例えば分割アップロードにした場合、分割単位で「メモリ使用→ファイル書きだし→メモリ解放」が行われるので、メモリ不足になりにくい、と思ってよろしいでしょうか？どうぞよろしくお願い致します。

行動規範の内容に同意します

ベストアンサー

*下記の回答は少なくともPHPの中ではの話です。

実装によりますが、基本的に全ての解釈が間違っております。

アップロードされたけど、何もしない場合は、メモリを使いません。
rename関数のように、直接ファイルを移動する系（原理上、ファイルのパスだけ書き換えるため物理位置は変わらない）の操作の場合もメモリはほとんど使用しません。
fopenし、少しずつ読み書きするストリーム系処理もメモリの使用量は少なくなります。
一括で、file_get_contentsをする場合のみ、メモリを大幅に使用します。

メモリ使う例

file_put_contents('test', file_get_contents($_FILES['file']['tmp_name']));

使わない例

rename( $_FILES['file']['tmp_name'], 'test');

メモリ上の処理とストリーム処理について、一旦調べることをお勧めします。

なお、PHPのメモリ使用量は memory_get_peak_usage() で取得できます。

maisumakunさんの回答では

PHPでアップロードを処理する場合

というワードが重要です。（太字で書いてくれている）

投稿2019/08/16 12:52

mikkame

総合スコア5036

uemon

2019/08/17 00:34

回答ありがとうございました。ファイルをアップロードした時点では、php.iniのupload_tmp_dirで指定した場所にファイルが保存され、その時点ではメモリは消費しない。それをPHPで移動処理する際に、file_get_contentsのようなPHP関数を使うと、メモリを大量に消費する、という理解であってますでしょうか。